Алговики - Вклад [ru]

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:42:11Z

Lvs:

{{Assignment}}
= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Метод минимальных невязок используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Приближённое решение в методе получается с помощью вектора в подпространстве Крылова. Для нахождения этого вектора используется алгоритм Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме. На основе этой формы происходит минимизация невязки.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. n</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна 0
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>n-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>n*(n-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение (минимальную норму вектора невязки)
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>

== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.

== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычислений возможно оптимально выполнять итерации алгоритма последовательно, вычисляя параллельно только векторно-матричные произведения.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Эта реализация использует многопроцессорное выполнение с общей памятью и вычисляет параллельно скалярное произведение и умножение матрицы на вектор. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448 с 1921955 ненулевыми элементами, расположенными около главной диагонали. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

Надо заметить, что для этой матрицы на таком числе итераций решения с заданной точностью найдено не было. Она была выбрана с целью показать масштабируемость алгоритма. На матрицах более малого размера решение находится быстро.

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:41:36Z

Lvs: /* Общее описание алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Метод минимальных невязок используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Приближённое решение в методе получается с помощью вектора в подпространстве Крылова. Для нахождения этого вектора используется алгоритм Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме. На основе этой формы происходит минимизация невязки.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. n</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна 0
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>n-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>n*(n-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение (минимальную норму вектора невязки)
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>

== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.

== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычислений возможно оптимально выполнять итерации алгоритма последовательно, вычисляя параллельно только векторно-матричные произведения.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Эта реализация использует многопроцессорное выполнение с общей памятью и вычисляет параллельно скалярное произведение и умножение матрицы на вектор. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448 с 1921955 ненулевыми элементами, расположенными около главной диагонали. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

Надо заметить, что для этой матрицы на таком числе итераций решения с заданной точностью найдено не было. Она была выбрана с целью показать масштабируемость алгоритма. На матрицах более малого размера решение находится быстро.

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:32:40Z

Lvs: /* Схема реализации последовательного алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. n</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна 0
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>n-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>n*(n-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение (минимальную норму вектора невязки)
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>

== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.

== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычислений возможно оптимально выполнять итерации алгоритма последовательно, вычисляя параллельно только векторно-матричные произведения.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Эта реализация использует многопроцессорное выполнение с общей памятью и вычисляет параллельно скалярное произведение и умножение матрицы на вектор. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448 с 1921955 ненулевыми элементами, расположенными около главной диагонали. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

Надо заметить, что для этой матрицы на таком числе итераций решения с заданной точностью найдено не было. Она была выбрана с целью показать масштабируемость алгоритма. На матрицах более малого размера решение находится быстро.

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:31:28Z

Lvs: /* Масштабируемость алгоритма и его реализации */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. n</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна 0
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>n-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>n*(n-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.

== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычислений возможно оптимально выполнять итерации алгоритма последовательно, вычисляя параллельно только векторно-матричные произведения.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Эта реализация использует многопроцессорное выполнение с общей памятью и вычисляет параллельно скалярное произведение и умножение матрицы на вектор. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448 с 1921955 ненулевыми элементами, расположенными около главной диагонали. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

Надо заметить, что для этой матрицы на таком числе итераций решения с заданной точностью найдено не было. Она была выбрана с целью показать масштабируемость алгоритма. На матрицах более малого размера решение находится быстро.

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:20:37Z

Lvs: /* Свойства алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. n</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна 0
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>n-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>n*(n-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.

== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычислений возможно оптимально выполнять итерации алгоритма последовательно, вычисляя параллельно только векторно-матричные произведения.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:18:28Z

Lvs: /* Последовательная сложность алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. n</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна 0
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>n-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>n*(n-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.

== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:18:15Z

Lvs: /* Вычислительное ядро алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. n</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна 0
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>n-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>n*(n-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:16:25Z

Lvs: /* Математическое описание алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. n</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна 0
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>m-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>m*(m-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:15:58Z

Lvs: /* Математическое описание алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. n</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна -
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>m-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>m*(m-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:14:06Z

Lvs: /* Ресурс параллелизма алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. m</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна -
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>m-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>m*(m-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Операция вычисления скалярного произведения
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:13:28Z

Lvs: /* Вычислительное ядро алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. m</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна -
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга и ортонормированного базиса подпространства Крылова.
Число умножений матрицы на вектор: <math>m-1</math> в алгоритме Арнольди, K в выбранном алгоритме решения задачи минимальных квадратов и 1 в подсчёте результата.
Также в алгоритм входят <math>m*(m-1) / 2</math> операций скалярного произведения.

== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:03:02Z

Lvs: /* Математическое описание алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. m</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij-1}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij-1} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij-1} q_i</math>: <math>z = z - h_{ij-1} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна -
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T11:00:01Z

Lvs: /* Математическое описание алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
# Значение первого вектора выбирается как <math>q_1 = b / ||b||</math>
# Оставшиеся векторы <math>q_j, j = 2 .. m</math> считаются по такому плану:
## Вычисляется вектор <math>z</math> путём умножения матрицы <math>A</math> на предыдущий вектор <math>q</math>: <math>z = Aq_{j-1}</math>.
## Вычисляются значения <math>h_{ij}</math> для всех <math>i = 1 .. j - 1</math> как скалярное произведение вектора <math>z</math> на вектор <math>q_i</math>: <math>h_{ij} = (z, q_i)</math>. После каждого такого вычисления значение вектора <math>z</math> понижается на <math>h_{ij} q_i</math>: <math>z = z - h_{ij} q_i</math>
## Затем вычисляется значение <math>h_{jj-1}</math> как норма вектора <math>z</math>: <math>h_{jj-1} = ||z||</math>. Алгоритм останавливается, если эта норма равна -
## Если полученное значение нормы не равно 0, то <math>q_j = z /||z||</math> (что эквивалентно <math>q_j = z /h_{jj-1}</math>

Сложность алгоритма <math>O(n^2)</math>.

Получаемые в процессе работы алгоритма векторы <math>q_1, q_2, ..., q_m</math> образуют искомый ортонормированный базис Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-12-05T09:53:23Z

Lvs: /* Математическое описание алгоритма */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_m = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>

== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Обсуждение участника:Lvs

2016-11-25T11:54:44Z

Lvs:

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-25T11:54:01Z

Lvs: /* Информационный граф */

{{Assignment|Dan}}
= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор, поскольку является самым ресурсоёмким, но при этом умножать отдельные строки матрицы можно независимо друг от друга. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-23T10:45:29Z

Lvs:

{{Assignment}}
= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-23T10:45:14Z

Lvs: /* Масштабируемость алгоритма и его реализации */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]
Параметры компиляции:
<code>mpixlc_r -qsmp=omp -O3</code>

Параметры запуска:
<code>gmres mat.mtx void 100 0 10</code>

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-21T12:10:19Z

Lvs:

{{Assignment}}
= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Обсуждение участника:Lvs

2016-11-21T12:09:55Z

Lvs:

= Пункт 1.2 =
Это определение пространства Крылова?
Не совсем понятно описание алгоритма, если не знаешь, о чем речь

= Пункт 1.3 =
Он достаточно длинный. Посмотрите описания готовых алгоритмов на алговики. Псевдокод здесь не читается, ядро должно лучше восприниматься

= Пункт 1.4 =
Если макроструктура это указанные 3 пункта, то нужно пояснить, почему именно пункт 1 является ядром. Он самый ресурсоемкий?

= Пункт 1.7 =
Почему это основной ресурс. Это основная операция в алгоритме? Требуются пояснения

= Пункт 2.4 =
[[Участник:Dan|Dan]] ([[Обсуждение участника:Dan|обсуждение]]) 14:16, 17 ноября 2016 (MSK) необходимо доработать:
Требования были такие:
- Реализация: полностью собственная или обращение к библиотечной функции (Intel MKL, PETSc, FFTW, ScaLAPACK). В любом случае, текст исследуемой программы должен быть представлен в отчете.
- Компьютерная платформа может быть любой (Ломоносов, BlueGene или что-то иное). Описание компьютерной платформы должно быть в отчете.
- Должен быть представлен график сильной масштабируемости (зависимости производительности от числа процессов; если при этом
ещё и зависимость от размера задачи - это только в плюс). График должен выглядеть пристойно и понятно, оси и единицы измерения должны быть подписаны. К графику обязательно должны быть словесные пояснения! Требовалось подобрать такие размеры задачи и числа процессоров, чтобы отразить на графике характерные точки, описывающие свойства алгоритма и программы.

'''В ПРОЦЕССЕ!'''

[[Участник:Dan|Dan]] ([[Обсуждение участника:Dan|обсуждение]]) 10:56, 21 ноября 2016 (MSK) приведите код, параметры компиляции

Реализация не моя, ссылку на GitHub с кодом я указал, что ещё надо?

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-21T12:08:57Z

Lvs: /* Масштабируемость алгоритма и его реализации */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация, найденная на просторах GitHub<ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-19T14:17:58Z

Lvs:

{{Assignment}}
= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация <ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-19T14:16:52Z

Lvs: /* Масштабируемость алгоритма и его реализации */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация <ref>Parallel GMRES Algorithm for Solving Giant Sparse System of Linear Equations https://github.com/arrgasm/paraGMRES/</ref>. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-19T14:14:54Z

Lvs: /* Масштабируемость алгоритма и его реализации */

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
Для исследования масштабируемости алгоритма была использована параллельная реализация [3]. Программа была запущена на суперкомпьютере BlueGene на разреженной матрице размера 90448х90448. Параметрами запуска являются 100 итераций алгоритма и 10 перезапусков алгоритм (повторный запуск алгоритма с использованием решения, полученного на предыдущем запуске, в качестве начального приближения). График зависимости времени выполнения от числа процессоров представлен на рисунке 2.
[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]

== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Обсуждение участника:Lvs

2016-11-18T08:17:54Z

Lvs: /* Пункт 2.4 */

= Пункт 1.2 =
Это определение пространства Крылова?
Не совсем понятно описание алгоритма, если не знаешь, о чем речь

= Пункт 1.3 =
Он достаточно длинный. Посмотрите описания готовых алгоритмов на алговики. Псевдокод здесь не читается, ядро должно лучше восприниматься

= Пункт 1.4 =
Если макроструктура это указанные 3 пункта, то нужно пояснить, почему именно пункт 1 является ядром. Он самый ресурсоемкий?

= Пункт 1.7 =
Почему это основной ресурс. Это основная операция в алгоритме? Требуются пояснения

= Пункт 2.4 =
[[Участник:Dan|Dan]] ([[Обсуждение участника:Dan|обсуждение]]) 14:16, 17 ноября 2016 (MSK) необходимо доработать:

Требования были такие:
- Реализация: полностью собственная или обращение к библиотечной функции (Intel MKL, PETSc, FFTW, ScaLAPACK). В любом случае, текст исследуемой программы должен быть представлен в отчете.
- Компьютерная платформа может быть любой (Ломоносов, BlueGene или что-то иное). Описание компьютерной платформы должно быть в отчете.
- Должен быть представлен график сильной масштабируемости (зависимости производительности от числа процессов; если при этом
ещё и зависимость от размера задачи - это только в плюс). График должен выглядеть пристойно и понятно, оси и единицы измерения должны быть подписаны. К графику обязательно должны быть словесные пояснения! Требовалось подобрать такие размеры задачи и числа процессоров, чтобы отразить на графике характерные точки, описывающие свойства алгоритма и программы.

'''В ПРОЦЕССЕ!'''

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-16T13:44:38Z

Lvs: /* Свойства и структура алгоритмов */

{{Assignment|Dan}}

= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.

Для вычисления векторов ортонормированного базиса используется алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Вычислительное ядро алгоритма ==
Самая трудоёмкая и самая часто вызываемая операция в алгоритме - умножение матрицы на вектор. В первую очередь это связано с вычислением матрицы Хессенберга.
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-09T13:49:01Z

Lvs:

{{Assignment}}
= Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.
== Вычислительное ядро алгоритма ==
Алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Основной ресурс параллелизма - умножение матрицы на вектор. Для этой операции информационный граф представлен на рисунке.

[[file:GraphLvs2FM.jpg|thumb|center|700px|Рис.1. Информационный граф умножения матрицы на вектор]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Литература =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-11-09T13:48:11Z

Lvs: /* Информационный граф */

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-31T16:47:04Z

Lvs: /* Источники */

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-29T14:11:42Z

Lvs:

{{Assignment}}
= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.
== Вычислительное ядро алгоритма ==
Алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Информационные графы представлены на изображениях. Графы представлены для всего алгоритма и для операции умножения матрицы на вектор, которая используется в нескольких этапах алгоритма.
[[file:GraphLvs1.png|thumb|left|300px|Общая схема вычисления алгоритма]]
[[file:GraphLvs2.png|thumb|right|300px|Информационный граф вычисления произведения матрицы на вектор.]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= ЧАСТЬ. Программная реализация алгоритма =

== Особенности реализации последовательного алгоритма ==
== Локальность данных и вычислений ==
== Возможные способы и особенности параллельной реализации алгоритма ==
== Масштабируемость алгоритма и его реализации ==
== Динамические характеристики и эффективность реализации алгоритма ==
== Выводы для классов архитектур ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

= Источники =
[1] Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007.

[2] М. Дана, А. Г. Зыков, Х. Д. Икрамов Метод минимальных невязок для специального класса линейных систем с нормальными матрицами коэффициентов - Ж. вычисл. матем. и матем. физ., 2005, том 45, номер 11

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-29T14:04:36Z

Lvs: /* Существующие реализации алгоритма */

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.
== Вычислительное ядро алгоритма ==
Алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Информационные графы представлены на изображениях. Графы представлены для всего алгоритма и для операции умножения матрицы на вектор, которая используется в нескольких этапах алгоритма.
[[file:GraphLvs1.png|thumb|left|300px|Общая схема вычисления алгоритма]]
[[file:GraphLvs2.png|thumb|right|300px|Информационный граф вычисления произведения матрицы на вектор.]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= ЧАСТЬ. Программная реализация алгоритма =

== ==
== ==
== ==
== ==
== ==
== ==
== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-29T14:04:24Z

Lvs: /* Информационный граф */

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.
== Вычислительное ядро алгоритма ==
Алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
Информационные графы представлены на изображениях. Графы представлены для всего алгоритма и для операции умножения матрицы на вектор, которая используется в нескольких этапах алгоритма.
[[file:GraphLvs1.png|thumb|left|300px|Общая схема вычисления алгоритма]]
[[file:GraphLvs2.png|thumb|right|300px|Информационный граф вычисления произведения матрицы на вектор.]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= ЧАСТЬ. Программная реализация алгоритма =

== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-29T14:03:00Z

Lvs: /* Информационный граф */

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.
== Вычислительное ядро алгоритма ==
Алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
[[file:GraphLvs1.png|thumb|left|300px|Общая схема вычисления алгоритма]]
[[file:GraphLvs2.png|thumb|right|300px|Информационный граф вычисления произведения матрицы на вектор.]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= ЧАСТЬ. Программная реализация алгоритма =

== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-15T16:37:48Z

Lvs:

{{Assignment}}
= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.
== Вычислительное ядро алгоритма ==
Алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
[[Файл:GraphLvs1.png]]
[[Файл:GraphLvs2.png]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= ЧАСТЬ. Программная реализация алгоритма =

== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-15T16:23:33Z

Lvs: /* Информационный граф */

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.
== Вычислительное ядро алгоритма ==
Алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==
[[Файл:GraphLvs1.png]]
[[Файл:GraphLvs2.png]]

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= ЧАСТЬ. Программная реализация алгоритма =

== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-15T16:06:05Z

Lvs: /* ЧАСТЬ. Свойства и структура алгоритмов */

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.
== Вычислительное ядро алгоритма ==
Алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

= ЧАСТЬ. Программная реализация алгоритма =

== Существующие реализации алгоритма ==
Реализации алгоритма GMRES присутствуют во многих программных продуктах как части стандартных библиотек, например Matlab или DEFORM3D. Также существую отдельные библиотеки, например MGMRES для языка С++.

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-15T15:57:45Z

Lvs:

= ЧАСТЬ. Свойства и структура алгоритмов =
== Общее описание алгоритма ==
Итерационный метод решения системы линейных алгебраических уравнений GMRES (или обобщенный метод минимальных невязок) используется для решения систем линейных алгебраических уравнений с заданной точностью приближения. Метод основан на процессе Арнольди, посредством которого матрица СЛАУ приводится к (верхней) хессенберговой форме.

== Математическое описание алгоритма ==
Дана система линейных алгебраических уравнений <math>Ax = b</math>, где <math>A</math> - квадратная матрица размера <math>n \times n</math>.

Вычисляется последовательность приближённых решений уравнения <math> x_m </math>, которая сходится к точному решению уравнения <math>x^*</math>.

Подпространство Крылова размерности <math>m</math>, порожденное вектором <math>b</math> и матрицей <math>A</math> – линейное пространство
<math>K_m(A, v)</math>, являющееся линейной оболочкой векторов <math>b, Ab, A^2b, ..., A^{m-1}b</math>.

Приближённое решение считается по формуле <math> x_m = Q_my_m</math>, где <math>Q_m</math> - матрица размера <math>n \times m</math>, составленная из векторов ортонормированного базиса пространства <math>K_m(A, v)</math>, <math>y_m \in \mathbb{R}^m</math>.

Итоговым считается решение, минимизирующее норму невязки (<math>||r||_2 = ||b - Ax_m||_2</math>) с заданной точностью.
== Вычислительное ядро алгоритма ==
Алгоритм Арнольди:
<source>
q[1] = b/||b||
for j = 1, ..., n-1 do
z = Aq[j]; //очередной вектор
for i = 1,..., j do
h[i][j] = (z, q[i]);
z = z − h[i][j]q[i];
end i
h[j+1][j] = ||z||;
if (h[j+1][j] == 0) break;
q[j+1] = z/h[j+1][j];
end j
</source>
Сложность алгоритма <math>O(n^2)</math>.

На каждом шаге алгоритма получаются векторы <math>q_1, q_2, ..., q_m</math>, являющиеся ортонормированным базисом Крыловского пространства <math>K_m(A, b)</math>.

Значения <math>h_{i,j}</math> образуют верхнюю матрицу Хессенберга (обозначим как <math>H_m</math>, размерность <math>m+1 \times m</math>).

<math>H_k = \begin{bmatrix}h_{11} & h_{12} & h_{13} &... & h_{1m-1} & h_{1m} \\ h_{21} & h_{22} & h_{23} & ... & h_{2m-1} & h_{2m} \\ 0 & h_{32} & h_{33} &...& h_{3m-1} & h_{3m} \\ ... & ... & ... & ... & ... & ... \\ 0 & 0 & 0 & ... & h_{m m-1} & h_{mm} \\0 & 0 & 0 & ... & 0 & h_{m+1 m}\end{bmatrix}</math>.

Вектор невязки задан уравнением <math>r_m = H_my_m - ||b - Ax_0||e_1</math>, где <math>x_0</math> - вектор начального приближения. Минимизация второй нормы вектора невязки представляет из себя решение линейной задачи минимальных квадратов размера <math>n</math>.

Приближённое решение вычисляется по формуле <math> x_m = Q_my_m</math> после нахождения соответствующего значения минимизирующего вторую невязку вектора. Сложность вычислений <math>O(nm)</math>
== Макроструктура алгоритма ==
# Алгоритм Арнольди
# Решение линейной задачи минимальных квадратов
# Вычисление решения
== Схема реализации последовательного алгоритма ==
<source>
Вычислить ортонормированный базис размера m
Вычислить минимальное приближение
if (приближение < заданная точность)
Вычислить результат
return;
else
Повторить для m = m+1
</source>
== Последовательная сложность алгоритма ==
Сложность вычислений собственных векторов на каждом шаге - <math>O(n^2)</math>, но может уменьшиться до <math>O(n)</math> при более разреженной матрице.

Сложность решения задачи минимальных квадратов <math>O(m^2)</math>, но при последовательном выполнении алгоритма можно понизить сложность до <math>O(m)</math> путём использования подсчитанных на прошлых итерациях значений.

Сложность вычисления решения <math>O(nm)</math>, поэтому его целесообразно вычислять только в конце.
== Информационный граф ==

== Ресурс параллелизма алгоритма ==
# Параллельное умножение матрицы на вектор выполняется в <math> n </math> ярусов умножений и сложений.
# Шаги алгоритма Арнольди выполняются строго последовательно, однако последующее нахождение невязки можно выполнять параллельно с запуском следующего шага алгоритма.
# Сложность решения задачи минимальных квадратов зависит от используемого алгоритма. В отличие от последовательного метода данные, полученные на прошлых шагах здесь использовать нельзя.
# Вычисление результата выполняется один раз, его можно выполнить параллельно в <math> n </math> ярусов умножений и сложений.

== Входные и выходные данные алгоритма ==
'''Входные данные:''' Матрица <math>A</math>, вектор <math>b</math>, точность <math>t</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m</math>. Объём: <math>n</math>

== Свойства алгоритма ==
Теоретически на каждой итерации алгоритма сложность вычислений составляет <math>n + X</math> операций умножения, где <math>X</math> - сложность алгоритма для решения задачи минимальных квадратов. Таким образом в худшем случае сложность будет примерно равна <math>n^2 + X*n + n</math> операций умножения.

Несмотря на то, что в теории итерации алгоритма можно выполнять параллельно после выполнения алгоритма Арнольди, на практике необходимая точность может быть достигнута раньше чем на n-й итерации, что потребует какого-нибудь способа прервать последующие итерации. Для избегания лишних вычисление возможно оптимально оставить эту часть последовательной.

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-15T12:25:36Z

Lvs:

= ТЕСТ =

== Ещё тест ==

Ещё более тест

Участник:Lvs/Итерационный метод решения системы линейных алгебраических уравнений GMRES

2016-10-15T12:23:37Z

Lvs: тест

Тест