Алговики - Вклад [ru]

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T21:03:34Z

Эльвира Ахиярова:

{{assignment}}
{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[File:Gmres time akhiyarova.jpg|thumb|center|400px|Рис 1. График зависимости времени выполнения от размера матрицы <math>N</math> и числа процессоров <math>p</math>]]

[[file:Efficiency akhiyarova.jpg|thumb|center|400px|Рис 2. График зависимости эффективности реализации от размера матрицы <math>N</math> и числа процессоров <math>p</math>]].

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 </code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: <math>3\cdot 10^{-7}%</math>
* максимальная эффективность реализации: <math>0.0018 %</math>

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T21:02:28Z

Эльвира Ахиярова:

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T20:55:49Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[File:Gmres time akhiyarova.jpg|thumb|center|400px|Рис 1. График зависимости времени выполнения от размера матрицы <math>N</math> и числа процессоров <math>p</math>]]

[[file:Efficiency akhiyarova.jpg|thumb|center|400px|Рис 2. График зависимости эффективности реализации от размера матрицы <math>N</math> и числа процессоров <math>p</math>]].

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 </code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: <math>3\cdot 10^{-7}%</math>
* максимальная эффективность реализации: <math>0.0018 %</math>

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T20:55:33Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[File:Gmres time akhiyarova.jpg|thumb|center|400px|Рис 1. График зависимости времени выполнения от размера матрицы <math>N</math> и числа процессоров <math>p</math>]]

[[file:Efficiency akhiyarova.jpg|thumb|center|400px|Рис 2. График зависимости эффективности реализации от размера матрицы <math>N</math> и числа процессоров <math>p</math>]].

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: <math>3\cdot 10^{-7}%</math>
* максимальная эффективность реализации: <math>0.0018 %</math>

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T20:55:05Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[File:Gmres time akhiyarova.jpg|thumb|center|400px|Рис 1. График зависимости времени выполнения от размера матрицы <math>N</math> и числа процессоров <math>p</math>]]
График эффективности для полученного времени выполнения указан на рисунке 2.
[[file:Efficiency akhiyarova.jpg|thumb|center|400px|Рис 2. График зависимости эффективности реализации от размера матрицы <math>N</math> и числа процессоров <math>p</math>]].

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: <math>3\cdot 10^{-7}%</math>
* максимальная эффективность реализации: <math>0.0018 %</math>

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T20:54:43Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[File:Gmres time akhiyarova.jpg|thumb|center|400px|Рис 1. График зависимости времени выполнения от размера матрицы <math>N</math> и числа процессоров <math>p</math>]]
График эффективности для полученного времени выполнения указан на рисунке 2.
[[file:Efficiency akhiyarova.jpg|thumb|center|400px|Рис 2. График зависимости эффективности реализации от размера матрицы <math>N</math> и числа процессоров <math>p</math>]].

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: <math>3 10^{-7}%</math>
* максимальная эффективность реализации: <math>0.0018 %</math>

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T20:54:10Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[File:Gmres time akhiyarova.jpg|thumb|center|400px|Рис 1. График зависимости времени выполнения от размера матрицы <math>N</math> и числа процессоров <math>p</math>]]
График эффективности для полученного времени выполнения указан на рисунке 2.
[[file:Efficiency akhiyarova.jpg|thumb|center|400px|Рис 2. График зависимости эффективности реализации от размера матрицы <math>N</math> и числа процессоров <math>p</math>]].

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: <math>3 *10^{-7}%</math>
* максимальная эффективность реализации: <math>0.0018 %</math>

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T20:52:48Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[File:Gmres time akhiyarova.jpg|thumb|center|400px|Рис 1. График зависимости времени выполнения от размера матрицы <math>N</math> и числа процессоров <math>p</math>]]
График эффективности для полученного времени выполнения указан на рисунке 2.
[[file:Efficiency akhiyarova.jpg|thumb|center|400px|Рис 2. График зависимости эффективности реализации от размера матрицы <math>N</math> и числа процессоров <math>p</math>]].

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: <math>3 *10^-{7}%</math>%
* максимальная эффективность реализации: 0.0018 %

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T20:49:41Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[File:Gmres time akhiyarova.jpg|thumb|center|400px|Рис 1. График зависимости времени выполнения от размера матрицы <math>N</math> и числа процессоров процессоров <math>p</math>]]
График эффективности для полученного времени выполнения указан на рисунке 2.
[[file:Efficiency akhiyarova.jpg|thumb|center|400px|Рис 2. График зависимости эффективности реализации от размера матрицы <math>N</math> и числа процессоров <math>p</math>]].

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: <math>3 10^-{7}%</math>%
* максимальная эффективность реализации: 0.0018 %

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T20:43:55Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[file:Gmres time akhiyrova.jpg|thumb|center|400px|Рис 1. График зависимости времени выполнения от размера матрицы <math>N</math> и числа процессоров числа процессоров <math>p</math>]]
График эффективности для полученного времени выполнения указан на рисунке 2.
[[file:Efficiency akhiyarova.jpg|thumb|center|400px|Рис 2. График зависимости эффективности реализации от размера матрицы <math>N</math> и числа процессоров <math>p</math>]].

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: 0.0095%
* максимальная эффективность реализации: 0.929%

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T15:17:24Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода GMRES. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[file:.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: 0.0095%
* максимальная эффективность реализации: 0.929%

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T15:16:59Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода Якоби нахождения сингулярных чисел и векторов. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[file:.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: 0.0095%
* максимальная эффективность реализации: 0.929%

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-27T15:16:41Z

Эльвира Ахиярова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

Проведём исследование масштабируемости параллельной реализации метода Якоби нахождения сингулярных чисел и векторов. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].
Для этого была использована параллельная реализация, найденная на просторах GitHub<ref>https://github.com/chemeng/GMRES_MPI</ref>. Параметрами запуска программы являются размер матрицы <math>N</math> и число рестартов <math>m</math>. Программа запускалась для нескольких значений количества процессоров <math>p</math>. Ниже представлены графики времени и эффективности работы алгоритма.

[[file:PlotLvs1.png|thumb|center|400px|Рис 2. График зависимости времени выполнения от числа процессоров]]
График эффективности для полученного времени выполнения указан на рисунке 3.
[[file:PlotLvs2.png|thumb|center|400px|Рис 3. График зависимости эффективности реализации от числа процессоров]]

Параметры компиляции:
<code>mpiсс main.c -o gmres</code>

Параметры запуска:
<code>gmres 100 8 10</code>

В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации: 0.0095%
* максимальная эффективность реализации: 0.929%

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-24T12:50:51Z

Эльвира Ахиярова: /* Макроструктура алгоритма */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
Перечислим основные этапы алгоритма GMRES:
* Построение базиса подпространства Крылова с помощью процесса Арнольди
* Решение задачи минимизации <math>l_2</math>-нормы невязки
* Построение решения исходной системы линейных алгебрических уравнений

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-24T12:43:03Z

Эльвира Ахиярова: /* Свойства алгоритма */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
В методе используются следующие макрооперции:
* Умножение матрицы на вектор
* Вычисление скалярного произведение двух векторов
* Нахождени <math>l_2</math>-нормы вектора
* Умножение матриц специальной структуры
* Решение системы уравнений с верхней треугольной матрицей

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

Вычислительная мощность алгоритма равна <math>O(m^2)</math>.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-24T12:28:48Z

Эльвира Ахиярова: /* Информационный граф */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
В методе используются следующие макрооперции:
* Умножение матрицы на вектор
* Вычисление скалярного произведение двух векторов
* Нахождени <math>l_2</math>-нормы вектора
* Умножение матриц специальной структуры
* Решение системы уравнений с верхней треугольной матрицей

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Для алгоритма нахождения скалярного произведения двух векторов граф состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-24T12:27:48Z

Эльвира Ахиярова: /* Информационный граф */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
В методе используются следующие макрооперции:
* Умножение матрицы на вектор
* Вычисление скалярного произведение двух векторов
* Нахождени <math>l_2</math>-нормы вектора
* Умножение матриц специальной структуры
* Решение системы уравнений с верхней треугольной матрицей

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4 , n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Граф алгоритма нахождения скалярного произведения двух векторов состоит из двух групп вершин, им соответсвуют операции <math>a*b</math> и <math> c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-24T12:25:34Z

Эльвира Ахиярова: /* Информационный граф */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
В методе используются следующие макрооперции:
* Умножение матрицы на вектор
* Вычисление скалярного произведение двух векторов
* Нахождени <math>l_2</math>-нормы вектора
* Умножение матриц специальной структуры
* Решение системы уравнений с верхней треугольной матрицей

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4</math>, и <math> n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Граф алгоритма нахождения скалярного произведения двух векторов состоит из двух групп вершин, им соответсвуют операции <math>a*b, \quad c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-24T12:24:35Z

Эльвира Ахиярова: /* Информационный граф */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
В методе используются следующие макрооперции:
* Умножение матрицы на вектор
* Вычисление скалярного произведение двух векторов
* Нахождени <math>l_2</math>-нормы вектора
* Умножение матриц специальной структуры
* Решение системы уравнений с верхней треугольной матрицей

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4, n = 5</math>. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Граф алгоритма нахождения скалярного произведения двух векторов состоит из двух групп вершин, им соответсвуют операции <math>a*b, \quad c+d</math>. Данный граф изображен для случая <math>n = 24</math>.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-24T12:21:15Z

Эльвира Ахиярова: /* Информационный граф */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
В методе используются следующие макрооперции:
* Умножение матрицы на вектор
* Вычисление скалярного произведение двух векторов
* Нахождени <math>l_2</math>-нормы вектора
* Умножение матриц специальной структуры
* Решение системы уравнений с верхней треугольной матрицей

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Описанный граф выполнен для случая <math>m = 4, n = 5</math>. Здесь вершины обозначены голубым цветом. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

Граф алгоритма нахождения скалярного произведения двух векторов состоит из двух групп вершин, расположенной в целочисленных узлах двумерной области, им соответсвуют операции <math>a*b</math>, <math>c+d</math>. Граф изображен для случая <math>n = 24</math>

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-11-24T12:11:46Z

Эльвира Ахиярова: /* Информационный граф */

{{algorithm
| name = Обобщеннный метод минимальных невязок
| serial_complexity = <math>O(mn+m^2+n^2)</math>
| input_data = <math>n^2+n+1</math>
| output_data = <math>n</math>
}}
Основные авторы описания: [[Участник:Эльвира Ахиярова|Э.А.Ахиярова]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Обобщенный метод минимальных невязок (GMRES) - это итерационный метод для нахождения приближенного решения системы линейных алгебраических уравнений <math>Ax = b </math> с произвольной матрицей <math>A</math>. Алгоритм был преложен в 1986 году Йозефом Саадом и Мартином Г. Шульцем
<ref>Y. Saad and M.H. Schultz, "GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems", SIAM J. Sci. Stat. Comput., 7:856-869, 1986. doi:10.1137/0907058.</ref>.

В то время как применение классических итерационных алгоритмов для решения СЛАУ ограничивается либо диагональным преобладанием, либо положительной определенностью матрицы, GMRES может быть использован для систем с произвольной невырожденной матрицей <math>A</math>. Данный метод опирается на итерации Арнольди для нахождения минимизирующего невязку вектора из подпространства Крылова <ref>https://en.wikipedia.org/wiki/Krylov_subspace</ref>.

Основным недостатком метода GMRES является поитерационное увеличение объема требуемой памяти. В связи с этим, для некоторых вычислительных систем выполенние программы метода может быть невозможным. Для некоторых систем используют модифицированный обобщенный метод минимальных невязок - GMRES(m), который подразумевает использование рестартов, существенно сокращающих объемы необходимой памяти.

Ключевая идея обобщенного метода минимальных невязок основана на решении задачи наименьших квадратов на каждом итерационном шаге. На каждом <math>k</math>-м шаге точное решение <math>x^* = A^{-1}b </math> аппроксимируется вектором <math>x_k \in K_k</math>, таким образом, что:
:<math>
\|r_k{\|}_2 = \|Ax_k-b{\|}_2 \to \min
</math>,
где <math>K_k</math> - подпространство Крылова <math> k </math> - го порядка.

=== Математическое описание алгоритма ===
'''Исходные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор правой части <math>b \in R^n</math>.

'''Вычисляемые данные:''' Приближенное решение <math>\tilde{x} \in R^n</math> системы <math>Ax = b</math>.

На каждом <math>k</math>-м шаге метода решение <math>x_k</math> рассматривается в виде <math>x_0+Vy_k</math>, где столбцы <math>v_k</math> матрицы <math>V</math> находятся с помощью процесса Арнольди для построения ортонормированного базиса <math>\{v_1, v_2, \dots, v_k\}</math> подпространства Крылова <math>K_k(A, v_1)</math>,
вектор <math>y_k</math> представляет собой решение системы <math>H_ky_k = \beta_k e_1</math>, где <math>H_k</math> - верхняя матрица Хессенберга<ref>https://en.wikipedia.org/wiki/Hessenberg_matrix</ref> размера <math>k\times k</math>, элементы которой формируются в процессе ортогонализации Арнольди, <math>\beta_k = \|r_0{\|}_2, \ r_0 = b - Ax_0 </math>, и, наконец, <math>e_1</math> - канонический вектор <math>{\begin{pmatrix}1&0&\dots 0\end{pmatrix}}^T</math> размерности <math>k</math>

Рассмотрим подробнее процесс ортогонализации Арнольди:

==== Процесс Арнольди ====
'''Исходные данные:''' начальный ортонормированный вектор <math>v_1</math> и размерность <math>k</math>

'''Вычисляемые данные:''' Ортонормированный базис <math>\{v_1, v_2, \dots, v_k\}</math> подпространства <math>K_k(A, v_1)</math>

Формулы метода:
:<math>
\begin{align}
&\omega = Av_j \\
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
&h_{(i+1)j} = \|\omega\| \\
&v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
&j = \overline{1,k}, \ i = \overline{1,j}
\end{align}
</math>
В результате выполнения процесса Арнольди получаем:
:<math>V_k =\{v_1, v_2, \dots, v_k\}</math> - ортонормированный базис подпространства Крылова
:<math>\overline{V_k} = \{v_1, v_2, \dots, v_k, v_{k+1}\}</math> - матрица, расширенная последним вычисленным вектором <math>v_{k+1}</math>
:<math>H_k</math> - верхняя Хессенбергова матрица, элементы которой равны коэффициентам ортогонализации:
:<math>H_k =
\begin{pmatrix}
h_{11} & h_{12} & h_{13} & h_{14} & \dots & h_{1k} \\
h_{21} & h_{22} & h_{23} & h_{24} & \dots & h_{2k} \\
0 & h_{32} & h_{33} & h_{34} & \dots & h_{3k} \\
\vdots & &\ddots & \ddots & & \vdots \\
0 & \dots & 0 & h_{k-1,k-2}& h_{k-1, k-1} & h_{k-1, k} \\
0 & \dots & 0 & 0 & h_{k, k-1} & h_{k, k} \\
0 & \dots & & & 0& h_{k+1, k}
\end{pmatrix}
</math>

==== Минимизация нормы невязки ====
Выполнив несложные преобразования можно получить выражение для невязки на <math>k</math>- й итерации:
:<math>
r_k = \beta e_1 - H_ky_k
</math>
Очевидно, что для задачи
:<math>
\|r_k{\|}_2 \to \min
</math>
минимум достигается при
:<math> H_ky_k = \beta e_1 </math>
Для решения последней системы матрица <math>H_k</math> приводится к верхнему треугольному виду с помощью <math> k </math> вращений Гивенса:
:<math> R_k = \Omega_k\Omega_{k-1}\dots \Omega_1 </math>,
:<math> \Omega_i = \begin{pmatrix} 1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\ \end{pmatrix}, \quad
s_i = \frac{h_{i+1,i}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}, \quad c_i = \frac{h_{ii}}{\sqrt{h_{ii}^2+h_{i+1,i}^2}}</math>

=== Вычислительное ядро алгоритма ===
Вычислительное ядро последовательной версии метода GMRES состоит из вычислений произведений матрицы на вектор и скалярного произведения в процессе Арнольди и произведений матрицы на вектор, обращений верхней треугольной матрицы для нахождения решения задачи минимизации невязки.

=== Макроструктура алгоритма ===
В методе используются следующие макрооперции:
* Умножение матрицы на вектор
* Вычисление скалярного произведение двух векторов
* Нахождени <math>l_2</math>-нормы вектора
* Умножение матриц специальной структуры
* Решение системы уравнений с верхней треугольной матрицей

=== Схема реализации последовательного алгоритма ===
Для обобщенного метода мимнимальных невязок число векторов порядка <math>n</math>, которых необходимо хранить в памяти, растет линейно с ростом <math>k</math>, в то время как число умножений имеет квадратичную зависимость от числа итераций. Этот факт является мотивацией для того, чтобы использовать метод минимальных невязок с рестартами. Вместо того, чтобы формировать базис размерности <math>k</math>, выбирается параметр <math>m << n </math> и с помощью ортонормированного базиса размерности <math>m</math> строится приближенное решение. Посредством такой схемы необходимое количество памяти может быть оценено заранее и оставаться внутри определенных пределов. Приведем подробное описание алгоритма GMRES c рестартами:

1. <math>k = 0 </math>; инициализировать <math>x_0</math>; <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\|r_0 \|}</math>

2. Выполнить <math>m</math> шагов процессса Арнольди:

Для <math> j = \overline{1,m} </math> выполнять:
<math>
\omega = Av_j
</math>
Для <math> i = \overline{1,j} </math> выполнять:
<math>
\begin{align}
&h_{ij} = (\omega, v_i) \\
&\omega = \omega - h_{ij}v_i \\
\end{align}
</math>
<math>
\begin{align}
h_{(i+1)j} = \|\omega\| \\
v_{j+1} = \frac{\omega}{h_{(i+1)j}} \\
\end{align}
</math>

3. Вычислить <math>y_m=\arg\min_{y} \| \beta e_1 - H_m y \|,\ y \in \R^m</math> и <math>x_m=x_0+V_my_m</math>

4. Вычислить <math>r_m=b-Ax_m</math>. Если требуемая точность достигнута, остановиться

5. Рестарт:
<math>x_0 = x_m</math>
<math>r_m = \frac{r_m}{\|r_m\|}</math>
Перейти к шагу 2.

=== Последовательная сложность алгоритма ===
Вычислительная сложность метода GMRES складывается из сложности решения задачи минимизации невязки и сложности процесса Арнольди. Так как в
задаче минимизации невязки матрица системы имеет размер <math>m+1 \times m</math>, для нахождения решения требуется <math>O(m^2)</math> операций. Процесс
Арнольди предполагает выполнение <math>O(mn)</math> операций плюс <math>O(n^2)</math> операций для умножений матрицы на вектор.

=== Информационный граф ===
Основным ресурсом параллелизма будут являться умножение матрицы на вектор<ref>https://algowiki-project.org/ru/Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)</ref> и вычисление скалярных произведений<ref>https://algowiki-project.org/ru/Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант</ref>. Представим информационные графы для данных алгоритмов:

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: (700 + 15) + 3 * (3 - 1) + 8}}px">
<gallery widths=600px heights=600px>
File:Matvec.png|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных
File:Dot.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>m</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> константа <math>0.</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'', а именно <math>a_{ij}</math>;
*<math>c</math> - элемент входных данных <math>x_{j}</math>;

Результат срабатывания операции является:
* при <math>j < n</math> - ''промежуточным данным'' алгоритма;
* при <math>j = n</math> - выходным данным.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math>m = 4, n = 5</math>. Здесь вершины обозначены голубым цветом. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

=== Ресурс параллелизма алгоритма ===

Для '''умножения квадратной матрицы на вектор''' порядка <math>n</math> в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>n</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

Для '''вычисления скалярного произведения векторов размерности <math>n</math>''' параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь),
где <math>p</math> - количество процессоров, <math>k</math>- номер процессора.

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===
'''Входные данные:''' Матрица <math>A \in R^{n\times n}</math>, вектор <math>b \in R^n</math>, точность <math>\varepsilon</math>. Объём: <math>n^2 + n + 1</math>

'''Выходные данные:''' Вектор <math>x_m \in R^n</math>. Объём: <math>n</math>

=== Свойства алгоритма ===
В точной арифметике GMRES всегда сходится не более чем за <math>n </math> итераций (т.к. <math>K_n = R^n = Im(A)</math>). При этом последовательность решений сходится монотонно, в связи с тем, что <math>\|r_{m+1}\| \le \|r_m\|</math>. Этот факт справедлив из-за того, что подпространства, по которым минимизируется <math>\|r_m\|</math>, вложены друг в друга: <math>K_m \subset K_{m+1}</math>. Таким образом, минимизация по подпрастранствам большей размерности приведет нас к меньшей норме невязки.

Скорость сходимости метода зависит от расположения собственных значений матрицы <math>A</math> на комплексной плоскости. Для быстрой сходимости, собственные значения должны быть сконцентрированны на достаточном расстоянии от начала координат. Заметим, что расположение собственных чисел намного важнее, чем число обусловленности матрицы <math>A</math>, являющимся главным критерием быстрой сходимости для метода сопряженных градиентов.

Если обобщенный метод минимальных невязок применяется к СЛАУ с матрицами, обладающими "хорошим" распределением собственных чисел, то он может работать быстрее чем стандартное <math>LU</math> разложение даже в том случае, если матрица плотна и неструктурированна.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Реализации обобщенного метода минимальных невязок (GMRES) присутствуют во многих пакетах. Приведем некоторые из них:
* [http://www.netlib.org/linpack/ LINPACK]
* [http://math.nist.gov/tnt/download.html/ JAMA/C++]
* [http://math-atlas.sourceforge.net/ ATLAS]
* [http://software.intel.com/mkl‎/ Intel MLK]
* [http://math.nist.gov/iml++/ IML++]
* [http://netlib.org/lapack/ LAPACK]
* [http://osl.iu.edu/research/mtl/ MTL]
* [http://www-users.cs.umn.edu/~saad/software/SPARSKIT/ SPARSKIT]
* [http://researcher.watson.ibm.com/researcher/view_group.php?id=1426 WSMP]
* [https://www.mcs.anl.gov/petsc/ PETSC]
* [https://www.scipy.org// SciPy]
* [https://www.mathworks.com/ Matlab]
* [https://fenicsproject.org/ FEniCS Project]

== Литература ==

[1] A parallel implementation of the restarted GMRES iterative algorithm for nonsymmetric systems of linear equations, Rudnei Dias da Cunha, Centro de Processamento de Dados, Universidade Federal do Rio Grande do Sul, Brazil and Computing Laboratory, University of Kent, Canterbury, UK and Tim Hopkins, Computing Laboratory, University of Kent, Canterbury, UK, 1993
[2] Gene H. Golub, Charles F. Van Loan, Matrix and Computations, 4th edition

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T18:55:42Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>
Наиболее популярные реализации метода основаны на модифицированном алгоритме ортогонализации Грама-Шмидта и на использовании рестартов для управления требуемым объемом памяти.

=== Математическое описание алгоритма ===
Основная идея метода GMRES основана на минимизации нормы невязки на каждом итерационном шаге. На каждой <math>k</math>-й итерации точное решение <math>x^* = A^{-1}b</math> приближается к вектору <math>x_k \in K_k</math>(k-е подпространство Крылова) в том смысле, что
:<math>
\begin{align}
\|r_k{\|}_2 &= \|Ax_k-b{\|}_2 \to \min\limits_{x_k \in K_k}
\end{align}
</math>
Приближенное решение <math>x_k</math> для системы линейных алгебраических уравнений

с произвольной невырожденной матрицей <math>A</math> ищется в виде:

Исходные данные: Матрица <math>A</math> (элементы <math>a_{ij}</math>), начальное приближение <math> x_0 </math>

Вычисляемые данные: Приближенное решение уравнения <math>x_k</math>.

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T18:35:58Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>
Наиболее популярные реализации метода основаны на модифицированном алгоритме ортогонализации Грама-Шмидта и на использовании рестартов для управления требуемым объемом памяти.

=== Математическое описание алгоритма ===
Приближенное решение <math>x_k</math> для системы линейных алгебраических уравнений
:<math>
\begin{align}
Ax = f
\end{align}
</math>
с произвольной невырожденной матрицей <math>A</math> ищется в виде:
:<math>
\begin{align}
x_k & = x_0+z_k \\
z_k & \in K_k = <r_0, Ar_0, \dots A^{k-1}r_0>,\\
\end{align}
</math>
где <math>r_0 = Ax_0-b</math>

Исходные данные: Матрица <math>A</math> (элементы <math>a_{ij}</math>), начальное приближение <math> x_0 </math>

Вычисляемые данные: Приближенное решение уравнения <math>x_k</math>.

Формулы метода:
:<math>
\begin{align}
l_{11} & = \sqrt{a_{11}}, \\
l_{j1} & = \frac{a_{j1}}{l_{11}}, \quad j \in [2, n], \\
l_{ii} & = \sqrt{a_{ii} - \sum_{p = 1}^{i - 1} l_{ip}^2}, \quad i \in [2, n], \\
l_{ji} & = \left (a_{ji} - \sum_{p = 1}^{i - 1} l_{ip} l_{jp} \right ) / l_{ii}, \quad i \in [2, n - 1], j \in [i + 1, n].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

В ряде реализаций деление на диагональный элемент выполняется в два этапа: вычисление <math>1/l_{ii}</math> и затем умножение на него всех (видоизменённых) <math>a_{ji}</math> . Здесь мы этот вариант алгоритма не рассматриваем. Заметим только, что он имеет худшие параллельные характеристики, чем представленный.

:''[[Разложение Холецкого (метод квадратного корня)|Читать полностью…]]''

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T18:35:33Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>
Наиболее популярные реализации метода основаны на модифицированном алгоритме ортогонализации Грама-Шмидта и на использовании рестартов для управления требуемым объемом памяти.

=== Математическое описание алгоритма ===
Приближенное решение <math>x_k</math> для системы линейных алгебраических уравнений
:<math>
\begin{align}
Ax = f
\end{align}
</math>
с произвольной невырожденной матрицей <math>A</math> ищется в виде:
:<math>
\begin{align}
x_k & = x_0+z_k \\
z_k & \in K_k = <r_0, Ar_0, \dots A^{k-1}r_0>,\\
\end{align}
</math>
где <mayh>r_0 = Ax_0-b</math>
Исходные данные: Матрица <math>A</math> (элементы <math>a_{ij}</math>), начальное приближение <math> x_0 </math>

Вычисляемые данные: Приближенное решение уравнения <math>x_k</math>.

Формулы метода:
:<math>
\begin{align}
l_{11} & = \sqrt{a_{11}}, \\
l_{j1} & = \frac{a_{j1}}{l_{11}}, \quad j \in [2, n], \\
l_{ii} & = \sqrt{a_{ii} - \sum_{p = 1}^{i - 1} l_{ip}^2}, \quad i \in [2, n], \\
l_{ji} & = \left (a_{ji} - \sum_{p = 1}^{i - 1} l_{ip} l_{jp} \right ) / l_{ii}, \quad i \in [2, n - 1], j \in [i + 1, n].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

В ряде реализаций деление на диагональный элемент выполняется в два этапа: вычисление <math>1/l_{ii}</math> и затем умножение на него всех (видоизменённых) <math>a_{ji}</math> . Здесь мы этот вариант алгоритма не рассматриваем. Заметим только, что он имеет худшие параллельные характеристики, чем представленный.

:''[[Разложение Холецкого (метод квадратного корня)|Читать полностью…]]''

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T18:34:54Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>
Наиболее популярные реализации метода основаны на модифицированном алгоритме ортогонализации Грама-Шмидта и на использовании рестартов для управления требуемым объемом памяти.

=== Математическое описание алгоритма ===
Приближенного решения <math>x_k</math> для системы линейных алгебраических уравнений
:<math>
\begin{align}
Ax = f
\end{align}
</math>
с произвольной невырожденной матрицей <math>A</math> ищется в виде:
:<math>
\begin{align}
x_k & = x_0+z_k
z_k & \in K_k = <r_0, Ar_0, \dots A^{k-1}r_0>,
\end{align}
</math>
где <mayh>r_0 = Ax_0-b</math>
Исходные данные: Матрица <math>A</math> (элементы <math>a_{ij}</math>), начальное приближение <math> x_0 </math>

Вычисляемые данные: Приближенное решение уравнения <math>x_k</math>.

Формулы метода:
:<math>
\begin{align}
l_{11} & = \sqrt{a_{11}}, \\
l_{j1} & = \frac{a_{j1}}{l_{11}}, \quad j \in [2, n], \\
l_{ii} & = \sqrt{a_{ii} - \sum_{p = 1}^{i - 1} l_{ip}^2}, \quad i \in [2, n], \\
l_{ji} & = \left (a_{ji} - \sum_{p = 1}^{i - 1} l_{ip} l_{jp} \right ) / l_{ii}, \quad i \in [2, n - 1], j \in [i + 1, n].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

В ряде реализаций деление на диагональный элемент выполняется в два этапа: вычисление <math>1/l_{ii}</math> и затем умножение на него всех (видоизменённых) <math>a_{ji}</math> . Здесь мы этот вариант алгоритма не рассматриваем. Заметим только, что он имеет худшие параллельные характеристики, чем представленный.

:''[[Разложение Холецкого (метод квадратного корня)|Читать полностью…]]''

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T18:20:48Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>
Наиболее популярные реализации метода основаны на модифицированном алгоритме ортогонализации Грама-Шмидта и на использовании рестартов для управления требуемым объемом памяти.

=== Математическое описание алгоритма ===
Для решения системы линейных алгебраических уравнений
:<math>
\begin{align}
Ax = f
\end{align}
</math>
Исходные данные: Матрица <math>A</math> (элементы <math>a_{ij}</math>), начальное приближение <math> x_0 </math>

Вычисляемые данные: Приближенное решение уравнения <math>L</math> (элементы <math>l_{ij}</math>).

Формулы метода:
:<math>
\begin{align}
l_{11} & = \sqrt{a_{11}}, \\
l_{j1} & = \frac{a_{j1}}{l_{11}}, \quad j \in [2, n], \\
l_{ii} & = \sqrt{a_{ii} - \sum_{p = 1}^{i - 1} l_{ip}^2}, \quad i \in [2, n], \\
l_{ji} & = \left (a_{ji} - \sum_{p = 1}^{i - 1} l_{ip} l_{jp} \right ) / l_{ii}, \quad i \in [2, n - 1], j \in [i + 1, n].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

В ряде реализаций деление на диагональный элемент выполняется в два этапа: вычисление <math>1/l_{ii}</math> и затем умножение на него всех (видоизменённых) <math>a_{ji}</math> . Здесь мы этот вариант алгоритма не рассматриваем. Заметим только, что он имеет худшие параллельные характеристики, чем представленный.

:''[[Разложение Холецкого (метод квадратного корня)|Читать полностью…]]''

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T18:20:04Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>
Наиболее популярные реализации метода основаны на модифицированном алгоритме ортогонализации Грама-Шмидта и на использовании рестартов для управления требуемым объемом памяти.

=== Математическое описание алгоритма ===
Для решения системы линейных алгебраических уравнений
:<math>
\begin{equation}
Ax = f
\end{equation}
</math>
Исходные данные: Матрица <math>A</math> (элементы <math>a_{ij}</math>), начальное приближение <math> x_0 </math>

Вычисляемые данные: Приближенное решение уравнения <math>L</math> (элементы <math>l_{ij}</math>).

Формулы метода:
:<math>
\begin{align}
l_{11} & = \sqrt{a_{11}}, \\
l_{j1} & = \frac{a_{j1}}{l_{11}}, \quad j \in [2, n], \\
l_{ii} & = \sqrt{a_{ii} - \sum_{p = 1}^{i - 1} l_{ip}^2}, \quad i \in [2, n], \\
l_{ji} & = \left (a_{ji} - \sum_{p = 1}^{i - 1} l_{ip} l_{jp} \right ) / l_{ii}, \quad i \in [2, n - 1], j \in [i + 1, n].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

В ряде реализаций деление на диагональный элемент выполняется в два этапа: вычисление <math>1/l_{ii}</math> и затем умножение на него всех (видоизменённых) <math>a_{ji}</math> . Здесь мы этот вариант алгоритма не рассматриваем. Заметим только, что он имеет худшие параллельные характеристики, чем представленный.

:''[[Разложение Холецкого (метод квадратного корня)|Читать полностью…]]''

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T18:19:40Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>
Наиболее популярные реализации метода основаны на модифицированном алгоритме ортогонализации Грама-Шмидта и на использовании рестартов для управления требуемым объемом памяти.

=== Математическое описание алгоритма ===
Для решения системы линейных алгебраических уравнений
:<math>
\begin{equation}
Ax = f
\end{equation}
</mathL>
Исходные данные: Матрица <math>A</math> (элементы <math>a_{ij}</math>), начальное приближение <math> x_0 </math>+

Вычисляемые данные: Приближенное решение уравнения <math>L</math> (элементы <math>l_{ij}</math>).

Формулы метода:
:<math>
\begin{align}
l_{11} & = \sqrt{a_{11}}, \\
l_{j1} & = \frac{a_{j1}}{l_{11}}, \quad j \in [2, n], \\
l_{ii} & = \sqrt{a_{ii} - \sum_{p = 1}^{i - 1} l_{ip}^2}, \quad i \in [2, n], \\
l_{ji} & = \left (a_{ji} - \sum_{p = 1}^{i - 1} l_{ip} l_{jp} \right ) / l_{ii}, \quad i \in [2, n - 1], j \in [i + 1, n].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

В ряде реализаций деление на диагональный элемент выполняется в два этапа: вычисление <math>1/l_{ii}</math> и затем умножение на него всех (видоизменённых) <math>a_{ji}</math> . Здесь мы этот вариант алгоритма не рассматриваем. Заметим только, что он имеет худшие параллельные характеристики, чем представленный.

:''[[Разложение Холецкого (метод квадратного корня)|Читать полностью…]]''

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T18:19:04Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>
Наиболее популярные реализации метода основаны на модифицированном алгоритме ортогонализации Грама-Шмидта и на использовании рестартов для управления требуемым объемом памяти.

=== Математическое описание алгоритма ===
Для решения системы линейных алгебраических уравнений
:<math>
\begin{equation}
Ax = f
\end{equation}
Исходные данные: Матрица <math>A</math> (элементы <math>a_{ij}</math>), начальное приближение <math> x_0.

Вычисляемые данные: Приближенное решение уравнения <math>L</math> (элементы <math>l_{ij}</math>).

Формулы метода:
:<math>
\begin{align}
l_{11} & = \sqrt{a_{11}}, \\
l_{j1} & = \frac{a_{j1}}{l_{11}}, \quad j \in [2, n], \\
l_{ii} & = \sqrt{a_{ii} - \sum_{p = 1}^{i - 1} l_{ip}^2}, \quad i \in [2, n], \\
l_{ji} & = \left (a_{ji} - \sum_{p = 1}^{i - 1} l_{ip} l_{jp} \right ) / l_{ii}, \quad i \in [2, n - 1], j \in [i + 1, n].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

В ряде реализаций деление на диагональный элемент выполняется в два этапа: вычисление <math>1/l_{ii}</math> и затем умножение на него всех (видоизменённых) <math>a_{ji}</math> . Здесь мы этот вариант алгоритма не рассматриваем. Заметим только, что он имеет худшие параллельные характеристики, чем представленный.

:''[[Разложение Холецкого (метод квадратного корня)|Читать полностью…]]''

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T16:39:05Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>
Наиболее популярные реализации метода основаны на модифицированном алгоритме ортогонализации Грама-Шмидта и на использовании рестартов для управления требуемым объемом памяти.

=== Математическое описание алгоритма ===
Исходные данные: положительно определённая симметрическая матрица <math>A</math> (элементы <math>a_{ij}</math>).

Вычисляемые данные: нижняя треугольная матрица <math>L</math> (элементы <math>l_{ij}</math>).

Формулы метода:
:<math>
\begin{align}
l_{11} & = \sqrt{a_{11}}, \\
l_{j1} & = \frac{a_{j1}}{l_{11}}, \quad j \in [2, n], \\
l_{ii} & = \sqrt{a_{ii} - \sum_{p = 1}^{i - 1} l_{ip}^2}, \quad i \in [2, n], \\
l_{ji} & = \left (a_{ji} - \sum_{p = 1}^{i - 1} l_{ip} l_{jp} \right ) / l_{ii}, \quad i \in [2, n - 1], j \in [i + 1, n].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

В ряде реализаций деление на диагональный элемент выполняется в два этапа: вычисление <math>1/l_{ii}</math> и затем умножение на него всех (видоизменённых) <math>a_{ji}</math> . Здесь мы этот вариант алгоритма не рассматриваем. Заметим только, что он имеет худшие параллельные характеристики, чем представленный.

:''[[Разложение Холецкого (метод квадратного корня)|Читать полностью…]]''

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-15T16:37:06Z

Эльвира Ахиярова: /* Математическое описание алгоритма */

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-13T13:02:23Z

Эльвира Ахиярова: /* Общее описание алгоритма */

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-13T13:01:49Z

Эльвира Ахиярова: /* Общее описание алгоритма */

Обсуждение участника:Lineprinter

2016-10-13T12:25:39Z

Эльвира Ахиярова: /* Перенос */

== Перенос ==
Статья: [[Ортогонализация Грама-Шмидта]];
Выполняют: [[Участник:KibAndrey| Кибанов Андрей]] и Аджиева Татьяна

Статья: [[Самоорганизующиеся карты Кохонена]];
Выполняет: [[Участник:Anton goy| Гой Антон]]

Статья:[[ЕМ-алгоритм_(Тематическое_моделирование)]];
Выполняют: Мурат Апишев и Андрей Заночкин

Статья:[[Алгоритм_Ланцоша_с_полной_переортогонализацией]];
Выполняет:[[Участник:Sfedotov| Федотов С.А.]]

Статья: [[Алгоритм_k-средних]]
Выполняют: [[Участник:Error2407|Богомазов Евгений]], [[Участник:Илья_Егоров|Егоров Илья]]

Статья: [[Решение_задачи_Коши_для_системы_ОДУ_методом_Рунге-Кутты_4_порядка]];
Выполняют: [[Участник:Алимов_Дамир_Алиевич|Алимов Дамир]] и [[Участник:Anlesnichiy|Антон Лесничий]]

Статья: [[Строгий_алгоритм_С_средних_(Hard_C-Means,_HCM)]];
Выполняют: [[Участник:Светлана_Лукьяненко|Лукьяненко Светлана]] и [[Участник:Юрий_Комаров|Комаров Юрий]]

Статья: [[Алгоритм кластеризации, основанный на минимальном остовном дереве]];
Выполняет: Стандрик Антон Сергеевич (Astandrik)

Статья: [[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(3)|Нахождение собственных чисел квадратной матрицы методом QR разложения (3)]];
Выполняют: [[Участник:Смирнова_Александра|Смирнова А.С.]], [[Участник:Александра_Киямова|Киямова А.]]

Статья: [[Метод_Якоби_вычисления_сингулярных_чисел_и_векторов]];
Выполняют: [[Участница:Почернина_Елена| Почернина Елена]] и [[Участница:Светлана|Костюкова Светлана]]

Статья: [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]];
Выполняют: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений]];
Выполняют: [[Участник:Cookie|Шатков С.А.]], [[Антохина Ю.А.]]

Статья: [[Быстрое_преобразование_Фурье_(FFT)|Быстрое преобразование Фурье (FFT)]];
Выполняют: [[Участник:Victoria_Stepanischeva|Степанищева Виктория]] и [[Участник:Igor_Munkin|Мунькин Игорь]]

Статья: [[Быстрое_дискретное_преобразование_Фурье|Быстрое_дискретное_преобразование_Фурье]];
Выполняют: [[Участник:ivanov.kir.m | К.М.Иванов]], [[Участник:Pumpkin | А.C.Сапин]]

Статья:[[Алгоритм_k_средних]]
Выполняют: [[Участник:Parkhomenko|Пархоменко Павел]], [[Участник:ivan.mashonskiy|Машонский Иван]]

Статья:[[EM-алгоритм_кластеризации]]
Выполняет: [[Участник:Noite|Зинченко Дмитрий]]

Статья:[[Алгоритм_k_means]]
Выполняют: [[Участник:IanaV| Валуйская Яна]], [[Глотов Евгений]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы ЗП |Метод Якоби вычисления собственных значений симметричной матрицы ЗП]];
Выполняют: [[Участник:Зиновьев Владимир|Зиновьев В.С.]], [[Участник:Пронин Андрей|Пронин А.М.]]

Статья:[[Алгоритм_кластеризации,_основанный_на_минимальном_покрывающем_дереве]]
Выполняет: [[Участник:Kanast74|Дмитриева Анастасия]]

Статья:[[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(4)]]
Выполняют: [[Участник:F-morozov|Морозов Ф. В.]], [[Участник:Nataliya|Пащенко Н. Ф.]]

Статья:[[Хранение_ненулевых_элементов_разреженных_матриц._Умножение_разреженной_матрицы_на_вектор]];
Выполняют: [[Участник:Trrufina|Третьякова Р.М.]] и [[Участник:Екатерина_Буторина|Буторина Е.В.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений2]];
Выполняет: [[Участник:Лукьянова Анна|Лукьянова А.Я.]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы]];
Выполняют: [[Участник: Galkina|Галкина А.С.]], [[Участник: Игорь|Плахов И.А.]]

Статья: [[Метод рекурсивной координатной бисекции]];
Выполняют: [[Участник: Obirvalger|Гордеев Михаил]], [[Участник: KolmakovEA|Колмаков Евгений]]

Статья: [[Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)]];
Выполняют: [[Участник: Эльвира Ахиярова|Ахиярова Эльвира]]

Обсуждение участника:Lineprinter

2016-10-13T12:24:51Z

Эльвира Ахиярова: /* Перенос */

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-09-27T17:08:23Z

Эльвира Ахиярова: /* Общее описание алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Метод минимальных невязок(GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Y.Saad, M.H. Schultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems, SIAM J. Scientific and Stat. Comp. 7: 856-869 (1986). </ref>

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-09-27T16:58:02Z

Эльвира Ахиярова: /* Свойства и структура алгоритма */

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Метод минимальных невязок(GMRES) является итерационным методом нахождения решения для системы линейных алгебраических уравнений с произвольной невырожденной матрицей. Метод основан на минимизации квадратичного функционала невязки на подпространствах Крылова.
GMRES был предложен Йозефом Саадом и Мартином Шульцем в 1986 году.<ref>Commandant Benoit, Note sur une méthode de résolution des équations normales provenant de l'application de la méthode des moindres carrés à un système d'équations linéaires en nombre inférieur à celui des inconnues (Procédé du Commandant Cholesky), Bulletin Géodésique 2 (1924), 67-77.</ref>
=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===
In mathematics, the generalized minimal residual method (usually abbreviated GMRES) is an iterative method for the numerical solution of a nonsymmetric system of linear equations. The method approximates the solution by the vector in a Krylov subspace with minimal residual. The Arnoldi iteration is used to find this vector.

The GMRES method was developed by Yousef Saad and Martin H. Schultz in 1986.[1] GMRES is a generalization of the MINRES method developed by Chris Paige and Michael Saunders in 1975. GMRES also is a special case of the DIIS method developed by Peter Pulay in 1980. DIIS is also applicable to non-linear systems.

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-09-27T16:23:19Z

Эльвира Ахиярова: /* Общее описание алгоритма */

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

Участница:Эльвира Ахиярова/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-09-27T16:22:25Z

Эльвира Ахиярова: Новая страница: «== Свойства и структура алгоритма == === Общее описание алгоритма === Назначение: кластериза…»

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Назначение: кластеризация больших наборов числовых данных.

Достоинства: легкость реализации, вычислительная простота.

Недостатки: задание количества кластеров, отсутствие гарантии в нахождении оптимального
решения.

=== Математическое описание алгоритма ===
=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==