Алговики - Вклад [ru]

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-11-24T12:56:04Z

Novikov alexander: /* Масштабируемость реализации алгоритма */

Основные авторы описания: [[Участник:Novikov alexander|Александр Новиков (1.4, 1.6, 1.7, 2.4, 2.7, 3)]], [[Участник:EasyBreezy|Гаврилов Алексей (1.1 - 1.3, 1.5, 1.8, 1.9, 2.7, 3)]]

{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.
:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math><ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

===Схема реализации последовательного алгоритма===

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Исследование масштабируемости реализации стабилизированного метода бисопряженных градиентов проводилось согласно [[Scalability methodology|методике]] на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [2 : 16] с шагом 1;
* размер матрицы [262144 : 11239424].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 60,00%;
* максимальная эффективность реализации 98,33%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации стабилизированного метода бисопряженных градиентов в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость параллельной реализации BiCGSTAB Производительность.png|thumb|center|700px|Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[file:Масштабируемость параллельной реализации BiCGSTAB эффективность.png|thumb|center|700px|Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]

[https://github.com/LLNL/hypre/blob/master/src/krylov/HYPRE_bicgstab.c Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-11-15T20:57:12Z

Novikov alexander: /* Масштабируемость реализации алгоритма */

Основные авторы описания: [[Участник:Novikov alexander|Александр Новиков (1.4, 1.6, 1.7, 2.4, 2.7, 3)]], [[Участник:EasyBreezy|Гаврилов Алексей (1.1 - 1.3, 1.5, 1.8, 1.9, 2.7, 3)]]

{{Assignment}}

{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.
:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math><ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Исследование масштабируемости реализации стабилизированного метода бисопряженных градиентов проводилось согласно [[Scalability methodology|методике]] на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [4 : 256] с шагом 4;
* размер матрицы [1024 : 5120].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 0,11%;
* максимальная эффективность реализации 2,65%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации стабилизированного метода бисопряженных градиентов в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость параллельной реализации BiCGSTAB Производительность.png|thumb|center|700px|Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[file:Масштабируемость параллельной реализации BiCGSTAB эффективность.png|thumb|center|700px|Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]

[https://github.com/LLNL/hypre/blob/master/src/krylov/HYPRE_bicgstab.c Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==

Участник:Novikov alexander

2016-11-15T20:24:22Z

Novikov alexander:

Новиков Александр Игоревич, группа 623

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-11-15T20:23:46Z

Novikov alexander:

Основные авторы описания: [[Участник:Novikov alexander|Александр Новиков (1.4, 1.6, 1.7, 2.4, 2.7, 3)]], [[Участник:EasyBreezy|Гаврилов Алексей (1.1 - 1.3, 1.5, 1.8, 1.9, 2.7, 3)]]

{{Assignment}}

{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.
:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math><ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Исследование масштабируемости реализации стабилизированного метода бисопряженных градиентов проводилось согласно [[Scalability methodology|методике]] на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [4 : 256] с шагом 4;
* размер матрицы [1024 : 5120].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 0,11%;
* максимальная эффективность реализации 2,65%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации стабилизированного метода бисопряженных градиентов в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость параллельной реализации BiCGSTAB Производительность.png|thumb|center|700px|Рисунок 8. Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[file:Масштабируемость параллельной реализации BiCGSTAB эффективность.png|thumb|center|700px|Рисунок 9. Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]

[https://github.com/LLNL/hypre/blob/master/src/krylov/HYPRE_bicgstab.c Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-11-15T20:23:21Z

Novikov alexander:

Основные авторы описания: [[Участник:Alexander novikov|Александр Новиков (1.4, 1.6, 1.7, 2.4, 2.7, 3)]], [[Участник:EasyBreezy|Гаврилов Алексей (1.1 - 1.3, 1.5, 1.8, 1.9, 2.7, 3)]]

{{Assignment}}

{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.
:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math><ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Исследование масштабируемости реализации стабилизированного метода бисопряженных градиентов проводилось согласно [[Scalability methodology|методике]] на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [4 : 256] с шагом 4;
* размер матрицы [1024 : 5120].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 0,11%;
* максимальная эффективность реализации 2,65%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации стабилизированного метода бисопряженных градиентов в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость параллельной реализации BiCGSTAB Производительность.png|thumb|center|700px|Рисунок 8. Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[file:Масштабируемость параллельной реализации BiCGSTAB эффективность.png|thumb|center|700px|Рисунок 9. Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]

[https://github.com/LLNL/hypre/blob/master/src/krylov/HYPRE_bicgstab.c Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-11-15T20:19:00Z

Novikov alexander: /* Масштабируемость реализации алгоритма */

Основные авторы описания: Александр Новиков (1.4, 1.6, 1.7, 2.7, 3), [[Участник:EasyBreezy|Гаврилов Алексей (1.1 - 1.3, 1.5, 1.8, 1.9, 2.7, 3)]]

{{Assignment}}

{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.
:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math><ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Исследование масштабируемости реализации стабилизированного метода бисопряженных градиентов проводилось согласно [[Scalability methodology|методике]] на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [4 : 256] с шагом 4;
* размер матрицы [1024 : 5120].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 0,11%;
* максимальная эффективность реализации 2,65%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации стабилизированного метода бисопряженных градиентов в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость параллельной реализации BiCGSTAB Производительность.png|thumb|center|700px|Рисунок 8. Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[file:Масштабируемость параллельной реализации BiCGSTAB эффективность.png|thumb|center|700px|Рисунок 9. Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]

[https://github.com/LLNL/hypre/blob/master/src/krylov/HYPRE_bicgstab.c Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-11-15T20:17:47Z

Novikov alexander: /* Масштабируемость реализации алгоритма */

Основные авторы описания: Александр Новиков (1.4, 1.6, 1.7, 2.7, 3), [[Участник:EasyBreezy|Гаврилов Алексей (1.1 - 1.3, 1.5, 1.8, 1.9, 2.7, 3)]]

{{Assignment}}

{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.
:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math><ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Исследование масштабируемости реализации стабилизированного метода бисопряженных градиентов проводилось согласно [[Scalability methodology|методике]] на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [4 : 256] с шагом 4;
* размер матрицы [1024 : 5120].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 0,11%;
* максимальная эффективность реализации 2,65%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации стабилизированного метода бисопряженных градиентов в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость Параллельной реализации стабилизированного метода бисопряженных градиентов Производительность.png|thumb|center|700px|Рисунок 8. Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[file:Холецкий масштабируемость эффективность2.png|thumb|center|700px|Рисунок 9. Параллельная реализация стабилизированного метода бисопряженных градиентов. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]

[https://github.com/LLNL/hypre/blob/master/src/krylov/HYPRE_bicgstab.c Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-11-15T20:15:23Z

Novikov alexander: /* Масштабируемость реализации алгоритма */

Основные авторы описания: Александр Новиков (1.4, 1.6, 1.7, 2.7, 3), [[Участник:EasyBreezy|Гаврилов Алексей (1.1 - 1.3, 1.5, 1.8, 1.9, 2.7, 3)]]

{{Assignment}}

{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.
:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math><ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Исследование масштабируемости реализации стабилизированного метода бисопряженных градиентов проводилось согласно [[Scalability methodology|методике]] на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [4 : 256] с шагом 4;
* размер матрицы [1024 : 5120].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 0,11%;
* максимальная эффективность реализации 2,65%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации стабилизированного метода бисопряженных градиентов в зависимости от изменяемых параметров запуска.

[https://github.com/LLNL/hypre/blob/master/src/krylov/HYPRE_bicgstab.c Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-11-15T20:14:31Z

Novikov alexander: /* Масштабируемость реализации алгоритма */

Основные авторы описания: Александр Новиков (1.4, 1.6, 1.7, 2.7, 3), [[Участник:EasyBreezy|Гаврилов Алексей (1.1 - 1.3, 1.5, 1.8, 1.9, 2.7, 3)]]

{{Assignment}}

{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.
:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math><ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Исследование масштабируемости реализации стабилизированного метода бисопряженных градиентов проводилось согласно [[Scalability methodology|методике]] на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [4 : 256] с шагом 4;
* размер матрицы [1024 : 5120].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 0,11%;
* максимальная эффективность реализации 2,65%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации разложения Холецкого в зависимости от изменяемых параметров запуска.

[https://github.com/LLNL/hypre/blob/master/src/krylov/HYPRE_bicgstab.c Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-11-15T20:11:43Z

Novikov alexander: /* Масштабируемость реализации алгоритма */

Основные авторы описания: Александр Новиков (1.4, 1.6, 1.7, 2.7, 3), [[Участник:EasyBreezy|Гаврилов Алексей (1.1 - 1.3, 1.5, 1.8, 1.9, 2.7, 3)]]

{{Assignment}}

{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.
:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math><ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
Исследование масштабируемости реализации стабилизированного метода бисопряженных градиентов проводилось согласно [[Scalability methodology|методике]] на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [4 : 256] с шагом 4;
* размер матрицы [1024 : 5120].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 0,11%;
* максимальная эффективность реализации 2,65%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации разложения Холецкого в зависимости от изменяемых параметров запуска.

[https://github.com/LLNL/hypre/blob/master/src/parcsr_ls/F90_HYPRE_parcsr_bicgstab.c Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:43:53Z

Novikov alexander: /* Информационный граф */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:34:01Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:33:48Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt n<\math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:32:31Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как 2 \sqrt n, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:32:08Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt n</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>\sqrt n</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = <math>\frac{n}{p}</math>, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как 2 \sqrt n, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:30:59Z

Novikov alexander:

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2 \sqrt n - 1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = \frac{n}{p}, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt n-3 + 4n + 3 + 1 + 3*\lceil \frac{n}{p} \rceil + 2* \lceil \frac{n}{p} \rceil = 6 \sqrt n + 4n + 5 \lceil \frac{n}{p} \rceil + 1</math>, а ширину, как 2 \sqrt n, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:28:12Z

Novikov alexander:

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6 \sqrt n + 4n + 5 \lceil frac{n}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2sqrt(n)-1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = n/p, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6sqrt(n)-3 + 4n + 3 + 1 + 3*\lceil n/p \rceil + 2* \lceil n/p \rceil = 6sqrt(n) + 4n + 5 \lceil n/p \rceil + 1</math>, а ширину, как 2sqrt(n), если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:27:35Z

Novikov alexander:

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> O(k*(6sqrt(n) + 4n + 5 \lceil n/p \rceil)) </math>
| pf_width = <math> 2 \sqrt n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2sqrt(n)-1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = n/p, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6sqrt(n)-3 + 4n + 3 + 1 + 3*\lceil n/p \rceil + 2* \lceil n/p \rceil = 6sqrt(n) + 4n + 5 \lceil n/p \rceil + 1</math>, а ширину, как 2sqrt(n), если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:26:41Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> 6sqrt(n) + 4n + 5n/p </math>
| pf_width = <math> n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2sqrt(n)-1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = n/p, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6sqrt(n)-3 + 4n + 3 + 1 + 3*\lceil n/p \rceil + 2* \lceil n/p \rceil = 6sqrt(n) + 4n + 5 \lceil n/p \rceil + 1</math>, а ширину, как 2sqrt(n), если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:24:13Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> 6sqrt(n) + 4n + 5n/p </math>
| pf_width = <math> n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2sqrt(n)-1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = n/p, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6sqrt(n)-3 + 4n + 3 + 1 + 3*⌈n/p⌉ + 2*⌈n/p⌉ = 6sqrt(n) + 4n + 5⌈n/p⌉ + 1</math>, а ширину, как 2sqrt(n), если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:23:40Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> 6sqrt(n) + 4n + 5n/p </math>
| pf_width = <math> n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2sqrt(n)-1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = n/p, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6sqrt(n)-3 + 4n + 3 + 1 + 3*⌈n/p) + 2*⌈n/p⌉ = 6sqrt(n) + 4n + 5⌈n/p⌉ + 1</math>, а ширину, как 2sqrt(n), если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:20:10Z

Novikov alexander:

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> 6sqrt(n) + 4n + 5n/p </math>
| pf_width = <math> n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2sqrt(n)-1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = n/p, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6sqrt(n)-3 + 4n + 3 + 1 + 3*(n/p) + 2*n/p = 6sqrt(n) + 4n + 5n/p + 1</math>, а ширину, как 2sqrt(n), если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T23:00:19Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> log(n) </math>
| pf_width = <math> n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2sqrt(n)-1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = n/p, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6sqrt(n)-3 + 4n + 3 + 1 + 3*(n/p) + 2*n/p = 6sqrt(n) + 4n + 5n/p + 1</math>, а ширину, как 2sqrt(n), если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T22:57:12Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> log(n) </math>
| pf_width = <math> n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2sqrt(n)-1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = n/p, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

В конечном счете общую высоту ЯПФ алгоритма можно оценить, как <math>6sqrt(n)-3 + 4n + 3 + 1 + 3*(n/p) + 2*n/p = 6sqrt(n) + 4n + 5n/p + 1</math>

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T22:48:01Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> log(n) </math>
| pf_width = <math> n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> p/\log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p=sqrt(n)</math>) высота будет равна <math>2sqrt(n)-1</math>, а ширина <math>sqrt(n)</math>, где n - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна 2n, а ширина m, где n - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число = n/p, а ширина p.

Высота ЯПФ операции вычисления разности векторов = <math> \log_2 p </math>, а ширина p.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T21:38:59Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания: Александр Новиков, Алексей Гаврилов

{{Assignment}}
{{algorithm
| name = BiCGSTAB
| serial_complexity = <math> O(n^2) </math>, где <math> n </math> - размерность СЛАУ
| pf_height = <math> log(n) </math>
| pf_width = <math> n </math>
| input_data = матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> ) и вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )
| output_data = вектор решения системы <math>x \in R^N</math> ( <math>C^N</math> )
}}
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \log_2 p </math> раз. Ускорение же умножения матрицы на вектор может достигать p раз.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке [https://developer.nvidia.com/amgx/ NVIDIA AmgX]

== Литература ==
# Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)
# Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T21:15:25Z

Novikov alexander: /* Математическое описание алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \log_2 p </math> раз. Ускорение же при умножении матрицы на вектор может достигать p раз.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке NVIDIA AmgX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T21:12:49Z

Novikov alexander: /* Макроструктура алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \log_2 p </math> раз. Ускорение же при умножении матрицы на вектор может достигать p раз.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке NVIDIA AmgX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T21:06:24Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \log_2 p </math> раз. Ускорение же при умножении матрицы на вектор может достигать p раз.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке NVIDIA AmgX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T21:06:05Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до <math> \log_2 p <\math> раз. Ускорение же при умножении матрицы на вектор может достигать p раз.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке NVIDIA AmgX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T21:05:07Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на p процессорах, за счет метода сдваивания может ускориться до \log_2 p раз. Ускорение же при умножении матрицы на вектор может достигать p раз.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке NVIDIA AmgX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T20:59:06Z

Novikov alexander: /* Ресурс параллелизма алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения. Каждая из них, выполняемая на p процессорах, за счет метода сдваивания может ускориться до \log_2 p раз. То же касается и параллельных сложений векторов.

=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке NVIDIA AmgX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T20:51:53Z

Novikov alexander: /* Информационный граф */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|800px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке NVIDIA AmgX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T20:51:27Z

Novikov alexander: /* Существующие реализации алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|1366px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница] [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке NVIDIA AmgX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T20:51:11Z

Novikov alexander: /* Существующие реализации алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|1366px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/ Официальная страница][https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c Исходный код]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке NVIDIA AmgX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T20:49:40Z

Novikov alexander: /* Существующие реализации алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|1366px|Информационный граф. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]
* Параллельная реализация алгоритма в бесплатной библиотеке, поддерживающей MPI и OpenMP, HYPRE: [http://acts.nersc.gov/hypre/]
Исходный код: [https://github.com/LLNL/hypre/blob/master/src/krylov/bicgstab.c]
* Параллельная реализация алгоритма на CUDA в условно бесплатной библиотеке Nvidia AMGX: [https://developer.nvidia.com/amgx]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T20:44:31Z

Novikov alexander: /* Информационный граф */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|1366px|Рисунок 1. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.]]

=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T20:43:25Z

Novikov alexander: /* Информационный граф */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
[[file:BiCGStabIterations.jpg|thumb|center|1400px|Рисунок 1. На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма.

=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
* Параллельная реализация алгоритма, предложенная MIT: [http://ab-initio.mit.edu/~meep/meep/src/bicgstab.cpp MIT BiCGSTAB]

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T13:55:49Z

Novikov alexander: /* Макроструктура алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства R^n, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству L.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств K и L
#Найти базис V пространства K и базис W пространства L;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу W^T AV^{-1} в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>k^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной матрицы на вектор ]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T13:54:28Z

Novikov alexander: /* Макроструктура алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства R^n, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству L.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств K и L
#Найти базис V пространства K и базис W пространства L;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу W^T AV^{-1} в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>k^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
Внутри каждой итерации алгоритма используются:
# Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
# Единожды [[Умножение плотной неособенной матрицы на вектор]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

Участник:EasyBreezy/Стабилизированный метод бисопряженных градиентов (BiCGSTAB)

2016-10-15T13:52:33Z

Novikov alexander: /* Макроструктура алгоритма */

Основные авторы описания:

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
:Стабилизированный метод бисопряженных градиентов, так же известный как BiCGSTAB (Biconjugate gradient stabilized method), был предложен голландским математиком Хенком ван дер Ворстом в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

:Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGSTAB уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

:BiCGSTAB является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGSTAB не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGSTAB фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGSTAB может уступать более простым методам.

:Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

:BiCGSTAB относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства R^n, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0).</math>

:Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGSTAB. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства L, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

:Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству L.

:Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

:Пусть <math> dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где V и W – матрицы, столбцы которых образуют базисы пространств K и L соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где y – коэффициенты разложения вектора поправки по базису пространства K, а q – коэффициенты разложения вектора z в пространстве L. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора y: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

:Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств K и L
#Найти базис V пространства K и базис W пространства L;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

:Как будет показано далее, в BiCGSTAB не требуется вычислять матрицу W^T AV^{-1} в явном виде.

=== Математическое описание алгоритма ===
:Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, A \in R^{N \times N}, b \in R^N</math></center>
<center><math></math></center>
:В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0,</math> при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

:Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:

<center><math>K = K^k(A, r^0), L = K^k(A, \overline r^0)</math></center>

:Метод основан на построении биортогонального базиса <math>p^0, p^1, ... p^k .. </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижения невязкой значения, которое меньше некоторого наперед заданного числа <math>\epsilon</math>.

:Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
:где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

:Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

:Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0}</math>

:Подведем итог и запишем итерационный процесс
:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>k^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===
:Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
Внутри каждой итерации алгоритма используются:
1. Трижды [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]]
2. Единожды [[Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)]]

=== Схема реализации последовательного алгоритма ===
=== Последовательная сложность алгоритма ===
:Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

:Каждое скалярное произведение требует <math>n</math> произведений и <math>n - 1</math> сложение, то есть <math>2n - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12n - 6</math> операций.

:Умножение матрицы размерности <math>n \times n</math> на вектор эквивалентно взятию еще <math>n</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2n(2n - 1)</math> операций.

:Наконец, сложение или вычитание векторов требует <math>6n</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

:Итого: <math>2n(2n - 1) + 12n - 6 + 6n + 6n = 4n^2 + 22n - 6</math> операций.

:Нетрудоемкие операции, вроде извлечение квадратного корня и деление вещественных чисел друг на друга, не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(n^2)</math>

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===
:BiCGSTAB хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====
===== Количественная оценка локальности =====
===== Анализ на основе теста Apex-Map =====
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==

<references />

Обсуждение участника:Lineprinter

2016-10-15T13:48:19Z

Novikov alexander: /* Перенос */

== Перенос ==
Статья: [[Стабилизированный метод биспоряженных градиентов (BiCGSTAB)]]
Выполняют: Гаврилов Алексей и Новиков Александр

Статья: [[Участники: Бобошко А., Юмакаева А./Решение начальной задачи Коши для системы ОДУ методом Рунге-Кутта 4-го порядка]];
Выполняют: Бобошко Алексей и Юмакаева Алина

Статья: [[Алгоритм кластеризации, основанный на сетях Кохоннена]];
Выполняют: Логвиненко Александра и Адиев Тохтар

Статья: [[Ортогонализация Грама-Шмидта]];
Выполняют: [[Участник:KibAndrey| Кибанов Андрей]] и Аджиева Татьяна

Статья: [[Самоорганизующиеся карты Кохонена]];
Выполняет: [[Участник:Anton goy| Гой Антон]]

Статья:[[ЕМ-алгоритм_(Тематическое_моделирование)]];
Выполняют: Мурат Апишев и Андрей Заночкин

Статья:[[Алгоритм_Ланцоша_с_полной_переортогонализацией]];
Выполняет:[[Участник:Sfedotov| Федотов С.А.]]

Статья: [[Алгоритм_k-средних]]
Выполняют: [[Участник:Error2407|Богомазов Евгений]], [[Участник:Илья_Егоров|Егоров Илья]]

Статья: [[Нечеткий_алгоритм_С_средних]]
Выполняют: [[Участник:Demon smd|Д.А.Гуськов]], [[Участник:marina abramenkova|М.А.Абраменкова]]

Статья: [[Решение_задачи_Коши_для_системы_ОДУ_методом_Рунге-Кутты_4_порядка]];
Выполняют: [[Участник:Алимов_Дамир_Алиевич|Алимов Дамир]] и [[Участник:Anlesnichiy|Антон Лесничий]]

Статья: [[Строгий_алгоритм_С_средних_(Hard_C-Means,_HCM)]];
Выполняют: [[Участник:Светлана_Лукьяненко|Лукьяненко Светлана]] и [[Участник:Юрий_Комаров|Комаров Юрий]]

Статья: [[Алгоритм кластеризации, основанный на минимальном остовном дереве]];
Выполняет: [[Участник:Astandrik | Стандрик Антон Сергеевич]]

Статья: [[Умножение разреженной матрицы на вектор]];
Выполняет: [[Участник:Lexaloris | Новоселов Алексей]], Выполняет: [[Участник:pahom | Кочетков Павел]]

Статья: [[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(3)|Нахождение собственных чисел квадратной матрицы методом QR разложения (3)]];
Выполняют: [[Участник:Смирнова_Александра|Смирнова А.С.]], [[Участник:Александра_Киямова|Киямова А.]]

Статья: [[Метод_Якоби_вычисления_сингулярных_чисел_и_векторов]];
Выполняют: [[Участница:Почернина_Елена| Почернина Елена]] и [[Участница:Светлана|Костюкова Светлана]]

Статья: [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]];
Выполняют: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений]];
Выполняют: [[Участник:Cookie|Шатков С.А.]], [[Антохина Ю.А.]]

Статья: [[Быстрое_преобразование_Фурье_(FFT)|Быстрое преобразование Фурье (FFT)]];
Выполняют: [[Участник:Victoria_Stepanischeva|Степанищева Виктория]] и [[Участник:Igor_Munkin|Мунькин Игорь]]

Статья: [[Быстрое_дискретное_преобразование_Фурье|Быстрое_дискретное_преобразование_Фурье]];
Выполняют: [[Участник:ivanov.kir.m | К.М.Иванов]], [[Участник:Pumpkin | А.C.Сапин]]

Статья:[[Алгоритм_k_средних]]
Выполняют: [[Участник:Parkhomenko|Пархоменко Павел]], [[Участник:ivan.mashonskiy|Машонский Иван]]

Статья:[[EM-алгоритм_кластеризации]]
Выполняет: [[Участник:Noite|Зинченко Дмитрий]]

Статья:[[Алгоритм_k_means]]
Выполняют: [[Участник:IanaV| Валуйская Яна]], [[Глотов Евгений]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы ЗП |Метод Якоби вычисления собственных значений симметричной матрицы ЗП]];
Выполняют: [[Участник:Зиновьев Владимир|Зиновьев В.С.]], [[Участник:Пронин Андрей|Пронин А.М.]]

Статья:[[Алгоритм_кластеризации,_основанный_на_минимальном_покрывающем_дереве]]
Выполняет: [[Участник:Kanast74|Дмитриева Анастасия]]

Статья:[[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(4)]]
Выполняют: [[Участник:F-morozov|Морозов Ф. В.]], [[Участник:Nataliya|Пащенко Н. Ф.]]

Статья:[[Хранение_ненулевых_элементов_разреженных_матриц._Умножение_разреженной_матрицы_на_вектор]];
Выполняют: [[Участник:Trrufina|Третьякова Р.М.]] и [[Участник:Екатерина_Буторина|Буторина Е.В.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений2]];
Выполняет: [[Участник:Лукьянова Анна|Лукьянова А.Я.]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы]];
Выполняют: [[Участник: Galkina|Галкина А.С.]], [[Участник: Игорь|Плахов И.А.]]

Статья: [[Метод рекурсивной координатной бисекции]];
Выполняют: [[Участник: Obirvalger|Гордеев Михаил]], [[Участник: KolmakovEA|Колмаков Евгений]]

Статья: [[Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)]];
Выполняют: [[Участник: Эльвира Ахиярова|Ахиярова Эльвира]]

Статья: [[Хранение ненулевых элементов разреженной матрицы. Умножение разреженной матрицы на вектор]];
Выполняют: [[Участник: Janyell|Сычева Евгения]], [[Участник: Ahahalin|Хахалин Анатолий]]

Статья: [[Построение матрицы Адамара произвольного размера]];
Выполняют: [[Участник: Бугаков Юрий|Бугаков Юрий]], Кужамалиев Ернур

Статья: [[Вычисление определенного интеграла с использованием адаптивно сгущающейся сетки (1)]]
Выполняют: [[Участница:Sannikovats| Санникова Татьяна Сергеевна]], [[Участник:Plukshin| Лукшин Петр Андреевич]]

Статья: [[Алгоритм кластеризации, основанный на построении каркаса]];
Выполняют: [[Участник:SenderovichNikita| Сендерович Никита]]

Статья: [[Алгоритм кластеризации, основанный на максимизации ожидания]];
Выполняют: Готман Мария, Лукашкина Юлия

Статья: [[Partitioning_Around_Medoids_(PAM)]]
Выполняют: [[Участник:Avasilenko|А.Э.Василенко]], [[Участник:Anastasia|А.В.Тузикова]]

Статья: [[Нечеткий алгоритм С-средних (Fuzzy C-means)]]
Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

Статья: [[Нечеткий алгоритм C средних]]
Выполняют: [[Участник:Gkhazeeva|Гелана Хазеева]], [[Участник:Yushin|Павел Юшин]]

Статья: [[Плотностный алгоритм кластеризации DBSCAN]]
Выполняют: [[Участник:Elena777mc|Малахова Е.С.]], [[Участник:Жаннат_Сагиолданова|Сагиолданова Ж.]]