Алговики - Вклад [ru]

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-08T06:54:40Z

Lonalone: /* Генерация случайного вектора Y */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным <math>12</math> и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений, включающих скалярные произведения строк матрицы:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

Для генерации гауссовского случайного вектора порядка <math>n</math> в последовательном варианте требуется:
* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (вычислений квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> операций в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>n, 2n, n, n</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Учитывая <math>n \gg \kappa</math>, можно заключить: при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, при классификации по ширине — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

В данной реализации алгоритма весь ресурс параллелизма использован в следующих этапах:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-08T06:51:26Z

Lonalone: /* Ресурс параллелизма алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений, включающих скалярные произведения строк матрицы:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

Для генерации гауссовского случайного вектора порядка <math>n</math> в последовательном варианте требуется:
* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (вычислений квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> операций в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>n, 2n, n, n</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Учитывая <math>n \gg \kappa</math>, можно заключить: при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, при классификации по ширине — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

В данной реализации алгоритма весь ресурс параллелизма использован в следующих этапах:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-08T06:48:50Z

Lonalone: /* Ресурс параллелизма алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений, включающих скалярные произведения строк матрицы:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

Для генерации гауссовского случайного вектора порядка <math>n</math> в последовательном варианте требуется:
* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (вычислений квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> операций в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>n, 2n, n, n</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Учитывая <math>n \gg \kappa</math>, можно заключить: при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, а при классификации по ширине — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

В данной реализации алгоритма весь ресурс параллелизма использован в следующих этапах:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-08T06:41:57Z

Lonalone: /* Последовательная сложность алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений, включающих скалярные произведения строк матрицы:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

Для генерации гауссовского случайного вектора порядка <math>n</math> в последовательном варианте требуется:
* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (вычислений квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> операций в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>n, 2n, n, n</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Таким образом, при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, а при классификации по ширине ЯПФ — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

В данной реализации алгоритма весь ресурс параллелизма использован в следующих этапах:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-08T06:37:40Z

Lonalone: /* Ресурс параллелизма алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений, включающих скалярные произведения строк матрицы:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> операций в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>n, 2n, n, n</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Таким образом, при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, а при классификации по ширине ЯПФ — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

В данной реализации алгоритма весь ресурс параллелизма использован в следующих этапах:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-08T06:20:54Z

Lonalone: /* Ресурс параллелизма алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений, включающих скалярные произведения строк матрицы:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> вычислений в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>n, 2n, n, n</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Таким образом, при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, а при классификации по ширине ЯПФ — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

В данной реализации алгоритма весь ресурс параллелизма использован в следующих этапах:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-08T06:14:23Z

Lonalone: /* Вычислительное ядро алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений, включающих скалярные произведения строк матрицы:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> вычислений в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>1, 2, 1, 1</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Таким образом, при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, а при классификации по ширине ЯПФ — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

В данной реализации алгоритма весь ресурс параллелизма использован в следующих этапах:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-07T22:45:49Z

Lonalone: /* Возможные способы и особенности параллельной реализации алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> вычислений в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>1, 2, 1, 1</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Таким образом, при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, а при классификации по ширине ЯПФ — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

В данной реализации алгоритма весь ресурс параллелизма использован в следующих этапах:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-07T22:36:32Z

Lonalone: /* Возможные способы и особенности параллельной реализации алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> вычислений в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>1, 2, 1, 1</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Таким образом, при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, а при классификации по ширине ЯПФ — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

В данной реализации алгоритма использованы все ресурсы параллелизма в следующих этапах:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-07T22:25:47Z

Lonalone: /* Ресурс параллелизма алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> вычислений в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>1, 2, 1, 1</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

Таким образом, при классификации по высоте ЯПФ алгоритм имеет сложность <math>O(n)</math>, а при классификации по ширине ЯПФ — <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-07T22:11:19Z

Lonalone: /* Ресурс параллелизма алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для разложения Холецкого <math>(n \times n)</math> матрицы <math>\Sigma</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
* <math>n - 1</math> ярус делений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n - 1</math>),
* по <math>n - 1</math> ярусов умножений и сложений/вычитаний (в каждом из ярусов — квадратичное количество операций, от <math>1</math> до <math>\frac{n^2 - n}{2}</math>).

Для генерации <math>(n)</math> вектора <math>Y</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>\kappa</math> ярусов сложений (<math>n</math> вычислений в каждом из ярусов),
* <math>1</math> ярус вычитаний, делений, умножений, вычислений квадратного корня (<math>1, 2, 1, 1</math> операций соответственно),

Для вычисления <math>(n)</math> вектора <math>X</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>n</math> ярусов умножений и сложений (в каждом из ярусов — линейное количество операций, в зависимости от яруса — от <math>1</math> до <math>n</math>)

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-07T21:26:24Z

Lonalone: /* Последовательная сложность алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

Таким образом, последовательная сложность алгоритма равна <math>O(n^3)</math>.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-07T21:20:00Z

Lonalone: /* Метод линейных преобразований */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{jj} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-07T21:18:19Z

Lonalone: /* Вычислительное ядро алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро алгоритма можно составить из множественных (всего <math>\frac{n(n−1)}{2}</math>) вычислений следующих выражений:

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-03T06:05:35Z

Lonalone: /* Генерация вектора Y */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 2 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-02T15:41:37Z

Lonalone: /* Масштабируемость реализации алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает (на рассматриваемой области значений параметров), но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-02T14:40:51Z

Lonalone: /* Общее описание алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает, но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-02T14:33:41Z

Lonalone: /* Генерация вектора Y */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.2, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 2. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает, но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-02T14:28:17Z

Lonalone: /* Последовательная сложность алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> n(n+1) + \frac {n(n-1)(n-2)}{6} </math> (умножений)
* <math> \frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6} </math> (вычитаний)
* <math> \frac {n(n-1+2\kappa)}{2} </math> (сложений)
* <math> \frac {n(n+3)}{2} </math> (делений)
* <math> 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает, но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-02T14:23:55Z

Lonalone: /* Генерация случайного вектора Y */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \dots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает, но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-02T14:18:10Z

Lonalone: /* Масштабируемость реализации алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа ядер и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

Оценка масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число ядер задействовано.
* '''По числу ядер''' — при увеличении числа mpi-процессов эффективность реализации снижается. Это объясняется ростом накладных расходов на организацию параллельного выполнения. При этом с ростом размерности матрицы эффективность снижается с такой же скоростью, но уже при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает, но крайне медленно.

[https://github.com/mensigo/skipod/blob/master/mpi_gauss_vec_gen.c Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-02T13:00:42Z

Lonalone: /* Масштабируемость алгоритма и его реализации */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

==== Масштабируемость алгоритма ====

==== Масштабируемость реализации алгоритма ====
Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом по степеням 2.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

[[file:Eff_2.png|thumb|center|700px|Рисунок 5. Изменение эффективности реализации в зависимости от числа процессоров и размера матрицы.]]

[[file:Eff_2_up.png|thumb|center|700px|Рисунок 6. Изменение эффективности реализации, вид сверху.]]

[[file:05.png|thumb|center|700px|Рисунок 7. Изменение эффективности распараллеливания в зависимости от числа процессоров и размера матрицы.]]

Проведем оценки масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы эффективность реализации постепенно увеличивается, при этом тем быстрее, чем большее число процессов используется.
* '''По числу mpi-процессов''' — при увеличении числа процессов эффективность реализации падает. Это объясняется ростом накладных расходов на организацию параллельного выполнения. С ростом вычислительной сложности задачи эффективность снижается так же быстро, но при больших значениях числа mpi-процессов.
* '''По двум направлениям''' — эффективность реализации возрастает, но медленно и с небольшими перепадам.

[http://git.algowiki-project.org/Teplov/Scalability/tree/master/abc Параллельная реализация на C++]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T21:45:55Z

Lonalone: /* Вычисление вектора X */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

Проведем оценки масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы [[Глоссарий#Эффективность реализации|эффективность реализации]] постепенно уменьшается. Это связано с тем, что время чтения и подготовки исходных данных растёт быстрее, чем время работы исследуемого алгоритма.
* '''По числу процессов''' - при увеличении числа процессов [[Глоссарий#Эффективность реализации|эффективность реализации]] увеличивается. Это связано с тем, что время чтения и подготовки исходной матрицы остаётся неизменным, а время работы алгоритма уменьшается, однако рост незначительный.
* При одновременном увеличении числа процессов и размерности матрицы [[Глоссарий#Эффективность реализации|эффективность реализации]] уменьшается.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T21:36:32Z

Lonalone: /* Масштабируемость алгоритма и его реализации */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

Проведем оценки масштабируемости:

* '''По размеру задачи''' — при увеличении размерности матрицы [[Глоссарий#Эффективность реализации|эффективность реализации]] постепенно уменьшается. Это связано с тем, что время чтения и подготовки исходных данных растёт быстрее, чем время работы исследуемого алгоритма.
* '''По числу процессов''' - при увеличении числа процессов [[Глоссарий#Эффективность реализации|эффективность реализации]] увеличивается. Это связано с тем, что время чтения и подготовки исходной матрицы остаётся неизменным, а время работы алгоритма уменьшается, однако рост незначительный.
* При одновременном увеличении числа процессов и размерности матрицы [[Глоссарий#Эффективность реализации|эффективность реализации]] уменьшается.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T21:28:11Z

Lonalone: /* Генерация вектора Y */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

'''Первая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>S = a+b</math>.

Аргументы операции следующие:
*<math>a:</math>
** при <math>j=1</math> — константа <math>0</math>;
** при <math>j>1</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,j-1</math>;
*<math>b</math> — элемент ''входных данных'' — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа.

'''Вторая''' группа вершин. Соответствующая ей операция вычисляет функцию <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Аргументы операции следующие:
*<math>a</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатами <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T21:08:14Z

Lonalone: /* Генерация вектора Y */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двумерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>\kappa</math>, принимая все целочисленные значения.

Операция <math>S = a+b</math>.
Аргументы операции следующие:
*<math>a:</math>
** <math>j=1</math>: константа <math>0</math>;
** <math>j>1</math>: значение операции, имеющей координаты <math>i,j-1</math>;
*<math>b</math> — значение, поступающее с <math>PRNG</math>.

Результат срабатывания операции является ''промежуточным данным'' этапа. 

Операция <math>F = \left(a-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.
Аргументы операции следующие:
*<math>a</math> — значение вершины первой группы, имеющей координаты <math>i,\kappa</math>.

Результат срабатывания операции является ''выходным данным'' этапа <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|550px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T19:21:42Z

Lonalone: /* Генерация вектора Y */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из четырех групп вершин, расположенных в целочисленных узлах одномерной области.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Операция <math>S = a+b</math>......
Аргументы операции следующие:
*<math></math> — элемент ''входных данных'', поступающий с <math>PRNG</math>;
*<math>\kappa</math> — элемент ''входных данных'', заданная положительная целочисленная константа;

Результат срабатывания операции является ''выходным данным'' алгоритма <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 2, \kappa = 2</math>.

[[Файл:LonGraf2.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T19:10:37Z

Lonalone: /* Генерация вектора Y */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из одной группы вершин, расположенной в целочисленных узлах одномерной области, соответствующая ей операция <math>\left(\sum\limits_{j=1}^{\kappa}u_j^i-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>u_j^i</math> — элемент ''входных данных'', поступающий с <math>PRNG</math>;
*<math>\kappa</math> — элемент ''входных данных'', заданная положительная целочисленная константа;

Результат срабатывания операции является ''выходным данным'' алгоритма <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 3, \kappa = 2</math>.

[[Файл:LonGraf2.png|650px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T18:18:28Z

Lonalone: /* Генерация вектора Y */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

Граф этапа 2 макроструктуры алгоритма состоит из одной группы вершин, расположенной в целочисленных узлах одномерной области, соответствующая ей операция <math>\left(\sum\limits_{j=1}^{\kappa}u_j^i-\frac{\kappa}{2}\right)\sqrt{\frac{12}{\kappa}}</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>u_j^i</math> — элемент ''входных данных'', поступающий с <math>PRNG</math>;
*<math>\kappa</math> — элемент ''входных данных'', заданная положительная целочисленная константа;

Результат срабатывания операции является ''выходным данным'' алгоритма <math>y_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math>n = 3, \kappa = 2</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T17:37:19Z

Lonalone: /* Существующие реализации алгоритма */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения. Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу. При этом удобно воспользоваться готовой реализацией разложения Холецкого (точечного метода), представленной в таких прикладных пакетах, как LINPACK, LAPACK, SCALAPACK.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T17:29:03Z

Lonalone: /* Масштабируемость алгоритма и его реализации */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 4. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T17:28:48Z

Lonalone: /* Масштабируемость алгоритма и его реализации */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:27:25Z

Lonalone: /* Вычисление вектора X */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (''умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором'') состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:26:35Z

Lonalone: /* Заполнение матрицы B */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма ([[Разложение_Холецкого_(метод_квадратного_корня)|''разложения Холецкого'']]) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:24:07Z

Lonalone: /* Заполнение матрицы B */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма (''разложение Холецкого'') состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ — вычисление квадратного корня, F — операция a-bc, Div — деление, In — входные данные, Out — выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:23:30Z

Lonalone: /* Вычисление вектора X */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма (''разложение Холецкого'') состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F — операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:23:07Z

Lonalone: /* Вычисление вектора X */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма (''разложение Холецкого'') состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рис.3, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F - операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:22:25Z

Lonalone: /* Заполнение матрицы B */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма (''разложение Холецкого'') состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' этапа.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F - операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:21:42Z

Lonalone: /* Заполнение матрицы B */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма (''разложение Холецкого'') состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элемент ''входных данных'' <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' .

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - выходные.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F - операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:15:16Z

Lonalone: /* Вычисление вектора X */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма (разложение Холецкого) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'', а именно <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элементы ''входных данных'', а именно <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' алгоритма.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - результаты.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' этапа;
* при <math>j = i</math> — ''выходным данным'' алгоритма <math>x_i</math>.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F - операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:14:01Z

Lonalone: /* Вычисление вектора X */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма (разложение Холецкого) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'', а именно <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элементы ''входных данных'', а именно <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' алгоритма.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - результаты.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' алгоритма;
* при <math>j = i</math> — ''выходным данным'' <math>x_i</math>.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма, F - операция a+bc]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T07:13:13Z

Lonalone: /* Заполнение матрицы B */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф этапа 1 макроструктуры алгоритма (разложение Холецкого) состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'', а именно <math>\sigma_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>b_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элементы ''входных данных'', а именно <math>\sigma_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>b_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>\sigma_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' алгоритма.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Рисунок 1. Граф этапа 1 макроструктуры алгоритма. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - результаты.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' алгоритма;
* при <math>j = i</math> — ''выходным данным'' <math>x_i</math>.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T00:58:08Z

Lonalone: /* Вычисление вектора X */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф алгоритма состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'', а именно <math>a_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>l_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элементы ''входных данных'', а именно <math>a_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>l_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>a_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' алгоритма.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Граф 1. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - результаты.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'' <math>b_{ij}</math>;
*<math>c</math> — элемент ''входных данных'' <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' алгоритма;
* при <math>j = i</math> — ''выходным данным'' <math>x_i</math>.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T00:28:28Z

Lonalone: /* Вычисление вектора X */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф алгоритма состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'', а именно <math>a_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>l_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элементы ''входных данных'', а именно <math>a_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>l_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>a_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' алгоритма.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Граф 1. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - результаты.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'', а именно <math>b_{ij}</math>;
*<math>c</math> — элемент входных данных <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' алгоритма;
* при <math>j = i</math> — ''выходным данным'' <math>x_i</math>.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|750px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-12-01T00:16:26Z

Lonalone: /* Вычисление вектора X */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф алгоритма состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'', а именно <math>a_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>l_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элементы ''входных данных'', а именно <math>a_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>l_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>a_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' алгоритма.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Граф 1. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - результаты.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф этапа 3 макроструктуры алгоритма (умножение нижней треугольной матрицы на вектор и сложение результата с другим вектором) состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> — компонента <math>m_{x_i}</math> вектора <math>M</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'', а именно <math>b_{ij}</math>;
*<math>c</math> — элемент входных данных <math>y_{j}</math>;

Результат срабатывания операции является:
* при <math>j < i</math> — ''промежуточным данным'' алгоритма;
* при <math>j = i</math> — ''выходным данным'' <math>x_i</math>.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math> n = 4</math>.

[[Файл:LonGraf3.png|500px|thumb|center|Рисунок 3. Граф этапа 3 макроструктуры алгоритма]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-11-30T16:49:45Z

Lonalone: /* Информационный граф */

Автор описания: ''Меньших И. М.''
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Из многомерных распределений особый интерес представляет нормальное. Этому закону подчиняются все результаты воздействия большого числа случайных факторов, среди которых нет превалирующих.

В статье приведен алгоритм генерации n-мерного гауссовского случайного вектора с помощью ''метода линейных преобразований''<ref name="V">(п. 1.10.4) Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло — М.: Академия, 2006. — 368 с.</ref>. Известно, что случае нормально распределенного случайного вектора, ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение. Поэтому для полного статистического соответствия моделируемого и теоретического распределения гауссовского вектора достаточно обеспечить требуемые значения указанных параметров<ref name="VV"> https://ru.wikipedia.org/wiki/Многомерное_нормальное_распределение</ref>.

Идея алгоритма заключается в линейном преобразовании n-мерного случайного вектора <math>Y</math>, компоненты которого независимы и одинаково распределены по нормальному закону со стандартными параметрами, в случайный вектор <math>X</math> с требуемыми ковариационной матрицей и вектором математических ожиданий.

=== Математическое описание алгоритма ===

==== Метод линейных преобразований ====

Даны ковариационная матрица <math>\Sigma</math> и вектор математических ожиданий <math>M</math>:
:<math>
\Sigma = \|\sigma_{ij}\| = \| \mathbb{E}[(X_{i} - m_{x_{i}})(X_{j} - m_{x_{j}})]\|, \\
M = (m_{x_{1}}, m_{x_{2}}, ..., m_{x_{n}})^T.
</math>

Требуется найти такую матрицу <math>B</math>, которая позволяла бы получить искомый вектор <math>X</math> с требуемыми характеристиками в результате линейного преобразования <math>X = BY + M</math>, где <math>Y</math> — n-мерный случайный вектор с независимыми нормально распределенными компонентами со стандартными параметрами.

Будем искать матрицу <math>B</math> в виде нижней треугольной матрицы. Перейдем от матричной записи к системе алгебраических уравнений:

:<math>

\begin{pmatrix} X_{1} \\
X_{2} \\ \vdots \\ X_{n} \end{pmatrix} =

\begin{pmatrix} b_{11} & 0 & \cdots & 0
\\b_{21} & b_{22} & \cdots & 0
\\ \vdots & \vdots & \ddots & \vdots
\\ b_{n1} & b_{n2} & \cdots & b_{nn}
\end{pmatrix} \times

\begin{pmatrix} Y_{1} \\
Y_{2} \\ \vdots \\ Y_{n} \end{pmatrix} +

\begin{pmatrix} m_{x_{1}} \\
m_{x_{2}} \\ \vdots \\ m_{x_{n}} \end{pmatrix} \Rightarrow
</math>
 
:<math>

\begin{cases}X_{1} - m_{x_{1}} = b_{11}Y_{1}
\\X_{2} - m_{x_{2}} = b_{21}Y_{1} + b_{22}Y_{2}
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\\X_{n} - m_{x_{n}} = b_{n1}Y_{1} + b_{n2}Y_{2} + \cdots + b_{nn}Y_{n}
\end{cases}

</math>

Поскольку компоненты вектора <math>Y</math> независимы и имеют стандартные параметры, справедливо выражение:

:<math>

\mathbb{E}[Y_{i}Y_{j}] =
\left\{\begin{matrix}
1, &i = j, \\
0, &i \not= j.
\end{matrix}\right.

</math>

Почленно перемножив сами на себя и между собой соответственно левые и правые части уравнений системы и взяв от результатов перемножения математическое ожидание, получаем систему уравнений вида:

:<math>

\begin{cases}
\mathbb{E}[(X_{1} - m_{x_{1}})(X_{1} - m_{x_{1}})] = \mathbb{E}[b_{11}Y_{1}b_{11}Y_{1}],
\\ \mathbb{E}[(X_{1} - m_{x_{1}})(X_{2} - m_{x_{2}})] = \mathbb{E}[(b_{21}Y_{1} + b_{22}Y_{2})b_{11}Y_{1}],
\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots
\end{cases}

</math>

Таким образом, в левых частях полученной системы уравнений располагаются элементы заданной ковариационной матрицы <math>\Sigma</math>, а в правых — элементы искомой матрицы <math>B</math>. Последовательно решая эту систему, получаем формулы для расчета элементов <math>\sigma_{ij}</math>:

:<math>
b_{11}=\sqrt{\sigma_{11}}; b_{21}=\frac{\sigma_{12}}{\sqrt{\sigma_{11}}}; b_{22} = \sqrt{\sigma_{22} - \frac{\sigma_{12}}{\sigma_{11}}}, \cdots

</math>

Рекуррентная формула для расчета любого элемента матрицы преобразования <math>B</math> имеет вид:

:<math>

b_{ij} = \frac {\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}} {\sqrt{\sigma_{ij} - \sum_{k=1}^{j-1} b_{jk}^2}}, \quad 1 \leqslant j \leqslant i \leqslant n

</math>

(суммы с верхним нулевым пределом считаются равными нулю)

Таким образом, матрица <math>B</math> получается с помощью [[Разложение_Холецкого_(метод_квадратного_корня)|разложения Холецкого]] матрицы <math>\Sigma</math>.

==== Генерация случайного вектора Y ====

Пусть имеется генератор псевдослучайных чисел (ГПСЧ, PRNG), с помощью которого можно получить реализацию случайной величины <math>u \sim U(0,1) </math>. Описанный выше случайный вектор <math>Y=(y_1, \cdots, y_n)</math> с независимыми компонентами составим из <math>n</math> реализаций случайной величины <math>\eta \sim N(0,1)</math>. Каждую такую реализацию <math>y_i</math>, в свою очередь, получим с помощью приближения по ЦПТ <math>\kappa</math> случайными величинами, распределенными равномерно на отрезке [0,1]:

:<math>

y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right), \quad i = \overline{1, n} \\
</math>
где <math>u_j^i - </math> реализации случайной величины <math>u</math>, а <math>\kappa - </math> параметр, обеспечивающий качество приближения.

Как правило, <math>\kappa</math> берут равным 12 и считают, что для подавляющего числа практических задач обеспечивается должная точность вычислений<ref name = "VVV">Балдин К.В., Уткин В.Б. Информационные системы в экономике. — М.:Дашков и Кo, 2008. — 395 с.</ref>.

=== Вычислительное ядро алгоритма ===

<math>\sigma_{ij} - \sum_{k=1}^{j-1} b_{ik} b_{jk}, \quad 1 \leqslant j \leqslant i \leqslant n</math>

=== Макроструктура алгоритма ===

* Заполнение матрицы <math>B</math>
* Генерация вектора <math>Y</math>
* Вычисление вектора <math>X = BY + M</math>

=== Схема реализации последовательного алгоритма ===

1) Заполнение матрицы <math>B</math>.

: (a) <math>b_{11}= \sqrt{\sigma_{11}}</math>

: (b) <math>b_{k1}= \frac{\sigma_{k1}}{l_{11}}</math>, <math>\quad k = \overline{2,n}</math>

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{2,n}</math>.

: (c) <math>b_{ii} = \sqrt{\sigma_{ii} - \sum_{p = 1}^{i - 1} b_{ip}^2}</math>

: (d) <math>b_{ji} = \frac{\sigma_{ji} - \sum_{p = 1}^{i - 1} b_{ip} b_{jp}} {l_{ii}}</math>, <math>\quad i \neq n, j = \overline{i+1,n}</math> 

2) Генерация вектора <math>Y</math>.

: Следующие два пункта выполняются циклически, друг за другом для <math>i = \overline{1,n}</math>.

: (a) <math>u_j^i \leftarrow PRNG,</math> <math>\quad j = \overline{1,k}</math>

: (b) <math>y_i = \sqrt{\frac{12}{\kappa}} \left(\sum_{j=1}^{\kappa}{u_j^i} - \frac{\kappa}{2}\right)</math>

3) Вычисление вектора <math>X</math>.

: <math>x_i = m_{x_i} + \sum_{k = 1}^{i} b_{ik} y_{k}, \quad i = \overline{1,n}</math>.

=== Последовательная сложность алгоритма ===

* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n + \frac {n(n+1)}{2} =
n(n+1) + \frac {n(n-1)(n-2)}{6}</math> (умножений)
* <math> \quad \frac {n(n-1)}{2} + \sum_{j=1}^{n-2}j(n-j-1) + n =
\frac {n(n+1)}{2} + \frac {n(n-1)(n-2)}{6}</math> (вычитаний)
* <math> \quad (\kappa-1)n + \frac {n(n+1)}{2} = \frac {n(n-1+2\kappa)}{2}</math> (сложений)
* <math> \quad \frac {n(n-1)}{2} + 2n = \frac {n(n+3)}{2}</math> (делений)
* <math> \quad n + n = 2n </math> (взятия квадратного корня)

<math> \frac{n}{6}\left(2n^2+9n+31+6\kappa\right) </math> - итого операций.

=== Информационный граф ===

==== Заполнение матрицы B====

Граф алгоритма состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

'''Первая''' группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT.
Единственная координата каждой из вершин <math>i</math> меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргумент этой функции

* при <math>i = 1</math> — элемент ''входных данных'', а именно <math>a_{11}</math>;
* при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1</math>, <math>i</math>, <math>i - 1</math>.
Результат срабатывания операции является ''выходным данным'' <math>l_{ii}</math>.

'''Вторая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>a / b</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>n-1</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i+1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>i = 1</math> — элементы ''входных данных'', а именно <math>a_{j1}</math>;
** при <math>i > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i - 1, j, i - 1</math>;
* <math>b</math> — результат срабатывания операции, соответствующей вершине из первой группы, с координатой <math>i</math>.

Результат срабатывания операции является ''выходным данным'' <math>l_{ji}</math>.

'''Третья''' группа вершин расположена в трёхмерной области, соответствующая ей операция <math>a - b * c</math>.
Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>2</math> до <math>n</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>i</math> до <math>n</math>, принимая все целочисленные значения;
* <math>p</math> — меняется в диапазоне от <math>1</math> до <math>i - 1</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>p = 1</math> элемент входных данных <math>a_{ji}</math>;
** при <math>p > 1</math> — результат срабатывания операции, соответствующей вершине из третьей группы, с координатами <math>i, j, p - 1</math>;
*<math>b</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, i</math>;
*<math>c</math> — результат срабатывания операции, соответствующей вершине из второй группы, с координатами <math>p, j</math>;

Результат срабатывания операции является ''промежуточным данным'' алгоритма.

Описанный граф можно посмотреть на рис.1, выполненном для случая <math>n = 4</math>.

[[file:Cholesky full_in_out.png|thumb|center|1400px|Граф 1. SQ - вычисление квадратного корня, F - операция a-bc, Div - деление, In - входные данные, Out - результаты.]]

====Генерация вектора Y====

====Вычисление вектора X====

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>m</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> константа <math>0.</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'', а именно <math>a_{ij}</math>;
*<math>c</math> - элемент входных данных <math>x_{j}</math>;

Результат срабатывания операции является:
* при <math>j < n</math> - ''промежуточным данным'' алгоритма;
* при <math>j = n</math> - выходным данным.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math>m = 4, n = 5</math>. Здесь вершины обозначены голубым цветом. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

[[Файл:YeqAX.png|500px|thumb|center|Рисунок 1. Граф 2]]

=== Ресурс параллелизма алгоритма ===

Для распараллеливания доступны следующие опции:
* вычисление элементов матрицы <math>B</math> в рамках столбца (под диагональю),
* генерация вектора <math>Y</math>,
* вычисление вектора <math>X</math> (умножение матрицы на вектор, сложение векторов).

=== Входные и выходные данные алгоритма ===

* Входные данные: вещественная всюду плотная положительно определенная симметрическая <math>(n \times n)</math> матрица <math>\Sigma</math> и вещественный <math>(n)</math> вектор <math>M</math>;
* Выходные данные: вещественный <math>(n)</math> вектор <math>X</math>.

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

<syntaxhighlight lang = c>

// compute matrix B (core)
for (int j = 0; j < n; j++){
double sum_down = matrix_cov[j][j];
for (int k = 0; k < j; k++){
double cur = matrix_cov[j][k];
sum_down -= cur * cur;
}
matrix_cov[j][j] = sqrt(sum_down);
for (int i = j + 1; i < n; i++){
double sum_up = matrix_cov[i][j];
for (int k = 0; k < j; k++){
sum_up -= matrix_cov[i][k] * matrix_cov[j][k];
}
matrix_cov[i][j] = sum_up / matrix_cov[j][j];
}
}
// generate vector Y
for (int i = 0; i < n; i++){
double sum = generate_uniform(n);
for (int j = 0; j < CLT_NUM - 1; j++){
sum += generate_uniform(n);
}
vec_Y[i] = (sum - CLT_NUM / 2) * sqrt(12.0 / CLT_NUM);
}
// linear transformation
for (int i = 0; i < n; i++){
vec_X[i] = vec_exp[i];
for (int k = 0; k <= i; k++){
vec_X[i] += matrix_cov[i][k] * vec_Y[k];
}
}

</syntaxhighlight>

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Алгоритм был реализован на языке C++ с использованием Intel MPI Library и запущен на кластере regular4.

Параметры компиляции и запуска:
module add slurm
module add impi/5.0.1
mpicxx -std=c++0x task.c -o _scratch/task
cd _scratch
sbatch -n256 impi ./task <matrix_size>

Параметры запуска:
* размер матрицы [1024 : 4864] с шагом 256,
* число ядер [2 : 256] с шагом-умножением в 2 раза.
 

[[file:Ops_2.png|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В отличие от разложения Холецкого, которое реализовано (точечный метод) во многих прикладных пакетах (напр., LINPACK, LAPACK, SCALAPACK), моделирование гауссовского случайного вектора не так "популярно". MS Excel и распространённые статистические пакеты (напр., SPSS, Statistica) позволяют моделировать только одномерные статистические распределения.

Имеется возможность "собрать" многомерное распределение из нескольких одномерных при условии, что компоненты независимы. Однако если необходимо исследовать данные с зависящими друг от друга переменными, то приходится писать собственную программу.

== Литература ==

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-11-30T16:42:07Z

Lonalone: /* Информационный граф */

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-11-29T22:37:17Z

Lonalone: /* Масштабируемость алгоритма и его реализации */

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-11-29T18:02:55Z

Lonalone: /* Масштабируемость алгоритма и его реализации */

Участник:Lonalone/Генерация гауссовского вектора методом линейных преобразований

2018-11-29T17:50:10Z

Lonalone: /* Последовательная сложность алгоритма */