Алговики - Вклад [ru]

Глоссарий

2017-02-07T09:54:29Z

Анюшева Ирина: /* Граф алгоритма */

=== Временна́я локальность ===
'''Временная локальность''' (temporal locality) показывает среднее число обращений по одному адресу в память за время исполнения всей программы.

=== Вычислительная мощность ===
'''Вычислительная мощность''' (computational power) алгоритма равна отношению числа операций к суммарному объему входных и выходных данных. Она показывает, сколько операций приходится на единицу переданных данных.

=== Вычислительная сложность ===
'''Вычислительная сложность''' (computational complexity) задачи <math>W</math> - количество основных вычислительных шагов лучшего последовательного алгоритма, необходимых для решения задачи на одном процессоре. Вычислительная сложность обычно является некоторой функцией от размера входных данных программы.

=== Вычислительное ядро ===
'''Вычислительное ядро''' (computational kernel) алгоритма - это часть алгоритма, на которую приходится основное время его работы.

=== Граф алгоритма ===
'''Граф алгоритма''' (algorithm graph) - это ориентированный ациклический мультиграф, вершины которого соответствуют операциям алгоритма, а дуги - передаче данных между ними. Вершины графа алгоритма могут соединяться несколькими дугами, в частности когда в качестве разных аргументов одной и той же операции используется одна и та же величина. Граф алгоритма почти всегда является параметризованным графом. В частности, его вид часто зависит от входных данных.

Граф алгоритма используется как удобное представление алгоритма при исследовании его структуры, ресурса параллелизма, а также других свойств. Его можно рассматривать как параметризованную информационную историю. Он сохраняет её информативность, при этом обладая компактностью за счёт параметризации. Разработана методика построения графа алгоритма по исходному тексту программ.

''См. также: [https://ru.wikipedia.org/wiki/Граф_алгоритма Граф алгоритма]''

=== Детерминированность ===
'''Детерминированность''' (determinacy) алгоритма - постоянство структуры вычислительного процесса. Алгоритм выдаёт уникальный и предопределённый результат для заданных входных данных.

=== Избыточные вычисления ===
'''Избыточные вычисления''' (redundant computation) - понятие, которое используют для обозначения разных явлений в параллельных вычислениях.
* В понимании графовой модели вычислений это такие операции, результаты которых нигде не будут использованы. Такие операции появляются в результате ошибок программирования и подлежат удалению из алгоритма.
* Распространено также понимание термина как вычисления, которые ''выполняются более одного раза'' или на более чем одном процессоре. Избыточные вычисления могут использоваться либо в многопроцессорных системах, чтобы минимизировать обмены, либо при недостаточном объеме памяти для хранения всех вычисленных значений.
* Кроме этого, избыточными вычислениями можно назвать те операции, которые появляются при замене последовательного алгоритма на специальный параллельный. У последнего алгоритма больше операций, но меньше длина критического пути графа, этим и обосновывается замена алгоритма. В таком случае реальное ускорение параллельного алгоритма следует считать не в сравнении с однопроцессорной реализацией его самого, а в сравнении с реализацией последовательного алгоритма. В нашей открытой энциклопедии свойств алгоритмов именно последнее толкование термина применяется в категории [[http://algowiki-project.org/ru/%D0%9A%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D1%8F:%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D1%8B_%D1%81_%D0%B8%D0%B7%D0%B1%D1%8B%D1%82%D0%BE%D1%87%D0%BD%D1%8B%D0%BC%D0%B8_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F%D0%BC%D0%B8 Алгоритмы с избыточными вычислениями]].

=== Конечный параллелизм ===
'''Конечный параллелизм''' (finite parallelism) - параллелизм, определяемый информационной независимостью некоторых фрагментов в тексте программы.

=== Координатный параллелизм ===
'''Координатный параллелизм''' (coordinate parallelism) - частный случай [[#Скошенный паралеллизм|скошенного параллелизма]], определяемый циклами ParDO, при котором информационно независимые вершины лежат на гиперплоскостях, перпендикулярных одной из координатных осей.

=== Локальность (обращений в память) ===
'''Локальность (обращений в память)''' (locality) - общее предположение о свойстве работы программ с данными. Заключается в том, что при обращении к некоторым данным велика вероятность, что в скором времени произойдет повторное обращение к тем же или расположенным рядом данным. В частности, на основе данного предположения построена работа кэш-памяти. Различают [[#Локальность команд|локальность команд]] и [[#Локальность использования данных|локальность использования данных]], а также [[#Пространственная локальность|пространственную]] и [[#Временна́я локальность|временну́ю]] локальность.

=== Локальность вычислений ===
'''Локальность вычислений''' (computation locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - команды, из которых состоят программы.

=== Локальность использования данных ===
'''Локальность использования данных''' (data locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - все данные, с которыми оперируют программы во время выполнения.

=== Массовый параллелизм ===
'''Массовый параллелизм''' (mass parallelism) - параллелизм, определяемый информационной независимостью итераций циклов программы.

=== Масштабируемость ===
'''Масштабируемость''' (scalability) - способность системы увеличивать свою [[#Производительность|производительность]] при добавлении ресурсов (обычно аппаратных). Система называется масштабируемой, если она способна увеличивать производительность пропорционально дополнительным ресурсам. Масштабируемость можно оценить через отношение прироста производительности системы к приросту используемых ей ресурсов. Чем ближе это отношение к единице, тем масштабируемость лучше.

=== Масштабируемость параллельной программы ===
'''Масштабируемость параллельной программы''' (scalability of parallel program) определяется относительно конкретного компьютера и показывает, как изменяются динамические характеристики данной программы в зависимости от её [[#Параметры запуска|параметров запуска]].

Наиболее часто рассматриваемые разновидности масштабируемости параллельных программ: [[#Сильная масштабируемость|сильная масштабируемость]], [[#Масштабируемость вширь|масштабируемость вширь]], [[#Слабая масштабируемость|слабая масштабируемость]].

Если при одновременном увеличении числа процессоров <math>p</math> и [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> [[#Эффективность распараллеливания|эффективность распараллеливания]] <math>E</math> остаётся прежней, то данную программу на данном компьютере можно считать масштабируемой.

=== Масштабируемость вширь ===

'''Масштабируемость вширь''' (wide scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> при фиксированном числе процессоров <math>p</math> (<math>p=const</math>).

=== Оценка daps ===
'''Оценка daps''' (daps estimation) - предлагаемая оценка производительности работы с памятью в программе, равна числу выполненных обращений в память в секунду. Построена по аналогии с распространенной оценкой производительности программ — flop/s (floating point operations per second), которая оценивает число операций с плавающей запятой в секунду. Оценка flop/s показывает производительность всей программы с точки зрения производимых вычислений; в то время как daps оценивает производительность программы с точки зрения работы с памятью.

Данная оценка является машинно-зависимой — она вычисляется на основе данных аппаратных датчиков. Служит для проверки точности результатов разрабатываемых нами машинно-независимых оценок локальности, таких как [[#Оценка cvg|cvg]].

=== Оценка cvg ===
'''Оценка cvg''' (cvg estimation) - предлагаемая машинно-независимая оценка локальности обращений в памяти в программе. Рассмотрим первые N обращений в потоке («окно»), и затем разобьем ось ординат (виртуальный адрес обращений) на отрезки длины K – [X .. X+K], [X+K .. X+2K], …, [Y-K .. Y], где [X, Y] - диапазон выделенной под рассматриваемые массивы виртуальной памяти. Таким образом, область построения профиля делится на прямоугольники размером KxN.

Физический смысл такого прямоугольника (при правильно подобранных значениях K и N) заключается в том, что любая последовательность точек, попавших в один прямоугольник, всегда обладает хорошей как пространственной, так и временно́й локальностью. Действительно, при достаточно малом значении K в прямоугольник попадает небольшой локальный фрагмент виртуальной памяти, а, значит, соседние обращения по памяти в любом случае будут расположены близко друг относительно друга. А временна́я локальность внутри прямоугольника не может быть больше N, поэтому при достаточно малом N можно обеспечить и хорошую временну́ю локальность. Однако не имеет смысла брать слишком малые значения для K и N, поскольку в этом случае теряется полезная информация о хорошей локальности не попавшего в прямоугольник фрагмента профиля.

Выделим те прямоугольники, в которые попадает хотя бы одно обращение. Чем меньше таких прямоугольников – тем больше точек попало в одни и те же прямоугольники, тем в общем случае лучше локальность. Пример разбиения профиля на прямоугольники приведен на рис. 1. Здесь для иллюстрации выделено три «окна», в каждом по 6 точек. В первом «окне» всего 2 непустых прямоугольника и самая хорошая локальность их трех вариантов. Во втором «окне» задействованы все 4 прямоугольника, при этом в каждый попало лишь по 1-2 обращения. Третье «окно» включает 3 непустых прямоугольника, и в этом варианте локальность лучше, чем у второго «окна», но хуже, чем у первого.

[[file:cvg.png|thumb|center|500px|Рисунок 1. Пример разбиения профиля на прямоугольники]]

Теперь сдвинем «окно» на одно обращение вправо и снова определим непустые прямоугольники; и так далее для всего профиля обращений. В результате мы получим «покрытие» – последовательность непустых прямоугольников, в каждом из которых содержится хотя бы по одному обращению, т.е. по одной точке профиля.

Далее для каждого «окна» посчитаем число таких непустых прямоугольников (обозначим это число как rects), в результате чего получим последовательность положительных натуральных чисел. Затем посчитаем среднее значение для данной последовательности. Полученное значение назовем оценкой локальности на основе метода покрытий и будем обозначать cvg.

Значение K было решено выбрать равным 64 байт, поскольку это соответствует длине кэш-строки, а в пределах одной кэш-строки пространственная локальность заведомо достаточно хорошая. При этом если запрошено одно значение, то в кэш-память подтянется вся строка из 64 байт, то есть все данные, соответствующие определенному прямоугольнику.

Оптимальное значение N для разных программ может существенно отличаться, но для выполнения корректного сравнения оценка было решено выбрать единственное значение N. Было проведено сравнение результатов для различных значений N, и в результате эмпирическим путем было получено, что наилучшие результаты достигаются при N=512.

=== Параллельная сложность ===
'''Параллельная сложность''' (parallel complexity) алгоритма - число шагов, за которое можно выполнить данный алгоритм в предположении доступности неограниченного числа необходимых процессоров (функциональных устройств, вычислительных узлов, ядер и т.п.). Параллельная сложность алгоритма понимается как высота канонической [[#Ярусно-параллельная форма графа алгоритма|ярусно-параллельной формы]].

=== Параметры запуска ===
'''Параметры запуска''' (startup parameters) параллельной программы - параметры, оказывающие влияние на работу параллельной программы, но не влияющие на реализацию алгоритма работы программы (например: размер задачи, число процессов, размер блока, число процессов на узел и т.п.)
Параметры запуска по типу можно разделить на:
# Аппаратные - относящиеся к параметрам аппаратуры.
# Системные - относящиеся к операционной системе, используемым библиотекам и системным приложениям и их настройкам.
# Программные - влияющие на логику работы программы или вычислительную сложность задачи, различные параметры, предусмотренные разработчиком.

=== Пиковая производительность ===
'''Пиковая производительность''' (peak performance) <math>R_{peak}</math> — теоретический предел [[#Производительность|производительности]] для данного компьютера. Пиковая производительность компьютера вычисляется как сумма пиковых производительностей всех входящих в него вычислительных устройств (процессоров, ускорителей и т.д.). Под пиковой производительностью каждого из вычислительных устройств понимают количество операций в секунду, которые он смог бы теоретически выполнять при полной загрузке всех своих компонент. Надо понимать, что пиковая производительность не только суперкомпьютера, но и, например, любого отдельно взятого процессора является величиной сугубо теоретической, недостижимой на практике.

=== Последовательная сложность ===
'''Последовательная сложность''' (serial complexity) алгоритма - число операций, которые нужно выполнить при его последовательном исполнении.

=== Пространственная локальность ===
'''Пространственная локальность''' (spatial locality) отражает среднее расстояние между несколькими последовательными обращениями в память.

=== Производительность ===
'''Производительность''' (performance) <math>R=Op/t</math> определяется количеством операций <math>Op</math>, производимых данным компьютером в единицу времени. Для высокопроизводительных вычислений в расчёт обычно берут количество арифметических операций в секунду над вещественными данными, представленными в форме с плавающей точкой. Эта величина называется Flop/s (от английского Floating point operations per second).

Поскольку современные суперкомпьютеры производят очень много таких операций в секунду, их производительность измеряется кратными величинами, такими как GFlop/s (<math>10^9</math> операций в секунду), TFlop/s (<math>10^12</math>), PFlop/s (<math>10^15</math>). Производительность мощнейших современных суперкомпьютеров уже измеряется десятками PFlop/s, активно идёт обсуждение построения систем экзафлопсного (порядка <math>10^18</math> операций в секунду) уровня производительности.

=== Профиль обращений в память ===
'''Профиль обращений в память''' (memory access profile) - последовательность выполняемых в программе обращений к данным в памяти, расположенных в том порядке, в котором обращения происходят в программе.

Обозначим профиль обращений A = {A1,A2,…,AN}, где N – общее число всех обращений при выполнении программы. Номер i элемента Ai в профиле указывает, каким по счету является данное обращение от начала выполнения программы. Любой элемент Аi будем называть элементом профиля. Запись Аi означает, что данный элемент имеет i-й порядковый номер; данная запись не содержит никакой информации о том, к какой переменной в программе происходит данное обращение.

На данный момент рассматриваются в основном обращения к массивам, поскольку они являются самыми распространенными структурами данных. Каждое обращение представлено в профиле некоторым числом. Таким образом, профиль обращений представляет собой последовательность чисел, которыми могут являться: 1) индексы элементов массива (если профиль строится только для одного массива); 2) виртуальные адреса, к которым происходят обращения; 3) физические адреса. Естественно, в рамках одного профиля используются числа только одного типа.

Подобные профили обращений содержат огромное количество полезной информации о работе программы с памятью. Интересным средством анализа профилей является изучение их визуального представления. Пример визуализации профиля приведен на рис. 2. Ось абсцисс — порядковый номер обращения в память, т. е. чем больше номер, тем позже произошло данное обращение. По оси ординат отложен виртуальный адрес памяти, к которому произошло обращение. Каждая точка — это отдельное обращение в память.

[[file:locality_profile.png|thumb|center|500px|Рисунок 2. Визуализация профиля обращений в память]]

Подобные графики сами по себе могут предоставить интересную информацию о поведении программы. Выделенная на рисунке область 1 (и остальные, аналогичные ей области), скорее всего, обладает хорошей пространственной и временно́й локальностью. Хорошей пространственной — потому что используются только соседние по памяти данные; хорошей временно́й — поскольку повторные обращения к этим данным происходят часто. Область 2 также обладает хорошей пространственной локальностью, поскольку соседние обращения происходят к соседним элементам, однако плохой временно́й локальностью, поскольку повторных обращений к данным просто нет.

Помимо получения данных о локальности, исследование визуализации профилей обращений в память является хорошим средством для понимания и определения шаблонов обращений.

Подобный анализ на основе визуализации профиля обращений помогает понять общее поведение программы, однако он не может дать точной количественной информации о взаимодействии программ с памятью. Для этих целей разрабатываются оценки локальности, такие как [[#Оценка daps|daps]] и [[#Оценка cvg|cvg]].

=== Реальная производительность ===
'''Реальная производительность''' (real performance) <math>R_{max}</math> — [[#Производительность|производительность]] данного компьютера на конкретном приложении.

=== Сильная масштабируемость ===
'''Сильная масштабируемость''' (strong scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи (<math>W=const</math>).

=== Скошенный параллелизм ===
'''Скошенный параллелизм''' (skewed parallelism) - параллелизм в пространстве итераций, определяемый поверхностями уровней разверток. Ряд исследователей этим термином пользуется только для случая, когда параллелизм не является [[#Координатный паралеллизм|координатным]].

=== Слабая масштабируемость ===
'''Слабая масштабируемость''' (weak scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи в пересчёте на один процессор (<math>W/p=const</math>).

=== Степень исхода ===
'''Степень исхода''' (degree of a vertex) вершины информационного графа - количество исходящих из данной вершины информационных дуг.

=== Суперлинейное ускорение ===
'''Суперлинейное ускорение''' (super linear speedup) или '''сверхлинейное ускорение''' программы - это [[#Ускорение|ускорение]], превосходящие число используемых процессоров <math>p</math>. Чаще всего объясняется эффектом от использования кэш-памяти.

=== Суперскалярность ===
'''Суперскалярность''' — архитектура вычислительного ядра, позволяющая загружать работой множество исполнительных блоков. Планирование исполнения команд является динамическим и осуществляется самим ядром.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Суперскалярность Суперскалярность]''

=== Ускорение ===
'''Ускорение''' (speedup) работы программы <math>S = T_1/T_p</math> - отношение времени работы некоторой программы на одном процессоре <math>T_1</math> ко времени работы распараллеленной программы при использовании <math>p</math> процессоров <math>T_p</math>.

=== Устойчивость ===
'''Устойчивость''' (stability) алгоритма - свойство алгоритма не увеличивать или увеличивать в незначительной степени погрешности, допущенной в начальных данных или допускаемой при вычислениях.

=== Эквивалентное возмущение ===
'''Эквивалентное возмущение''' (equivalent perturbation) алгоритма - одна из характеристик влияния ошибок округления промежуточных операций на отклонение решения, получаемого алгоритмом, от настоящего решения задачи. Выражается косвенно: влияние ошибок на ответ считается таким же, как если бы данные были заданы с ошибкой, выражаемым эквивалентным возмущением, но задача с такими данными была бы решена точно.

=== Эквивалентное преобразование ===
'''Эквивалентное преобразование''' (equivalent transformaion) программы - такое преобразование, при котором в точности сохраняется результат выполнения программы.

=== Эффективность распараллеливания ===
'''Эффективность распараллеливания''' (parallel efficiency) <math>E = S/p</math> (где <math>S</math> - полученное [[#Ускорение|ускорение]] работы программы, а <math>p</math> - число используемых процессоров) определяет среднюю долю времени выполнения параллельного алгоритма, в течение которого процессоры реально используются для решения задачи. Получение большого ускорения за счёт использования большого числа процессоров зачастую приводит к снижению эффективности.

Если не брать в расчёт эффект [[#Суперлинейное ускорение|суперлинейного ускорения]], то ускорение выполнения программы не превосходит числа используемых процессоров <math>p</math>, а значит, эффективность распараллеливания не превосходит единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о меньшем количестве накладных расходов, а значит, о лучшем качестве распараллеливания программы.

=== Эффективность реализации ===

'''Эффективность реализации''' (implementation efficiency) программы <math>R_{max}/R_{peak}</math> определяется как отношение [[#Реальная производительность|реальной производительности]] <math>R_{max}</math> к [[#Пиковая производительность|пиковой производительности]] <math>R_{peak}</math>.

Поскольку пиковая производительность недостижима на практике, эффективность реализации программы всегда меньше единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о том, что более эффективно задействованы ресурсы компьютера.

=== Ярусно-параллельная форма графа алгоритма ===

'''Ярусно-параллельная форма (ЯПФ)''' (parallel form) - это представление графа алгоритма, в котором:
* все вершины разбиты на перенумерованные подмножества ярусов;
* начальная вершина каждой дуги расположена на ярусе с номером меньшим, чем номер яруса конечной вершины;
* между вершинами, расположенными на одном ярусе, не может быть дуг.

''Высота'' ЯПФ - это число ярусов.
Ширина яруса - число вершин, расположенных на ярусе.
''Ширина'' ЯПФ - это максимальная ширина ярусов в ЯПФ.

'''Канонической ярусно-параллельной формой''' называется ЯПФ, высота которой на единицу больше длины критического пути, а все входные вершины расположены на первом ярусе. Для заданного графа его каноническая ЯПФ единственна. Высота канонической ЯПФ соответствует [[#Параллельная сложность|параллельной сложности]] алгоритма.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Ярусно-параллельная_форма_графа Ярусно-параллельная форма графа]''
* ''[https://ru.wikipedia.org/wiki/Критический_путь_графа Критический путь графа]''

[[En:Glossary]]

[[Категория:Статьи в работе]]
[[Категория:Algowiki:Справка]]

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T22:13:33Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису. Метод сходится для любого начального приближения.

Входные данные алгоритма: система линейных алгебраических уравнений, которую необходимо решить.

Параметры алгоритма: <math>m</math> - размерность подпространства Крылова, <math>\varepsilon</math> - параметр останова алгоритма.

Выходные данные: решение системы в виде вектора.

Краткое описание алгоритма:
* Задать параметры алгоритма и начальное приближение;
* Пока не выполнен критерий останова повторить:
** Построить базис подпространства Крылова;
** Минимизировать невязку.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{m} - </math>приближенное решение системы.

В качестве нормы рассматривается евклидова норма.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T22:11:06Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Входные данные алгоритма: система линейных алгебраических уравнений, которую необходимо решить.

Параметры алгоритма: <math>m</math> - размерность подпространства Крылова, <math>\varepsilon</math> - параметр останова алгоритма.

Выходные данные: решение системы в виде вектора.

Краткое описание алгоритма:
* Задать параметры алгоритма и начальное приближение;
* Пока не выполнен критерий останова повторить:
** Построить базис подпространства Крылова;
** Минимизировать невязку.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{m} - </math>приближенное решение системы.

В качестве нормы рассматривается евклидова норма.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T22:10:00Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Входные данные алгоритма: система линейных алгебраических уравнений, которую необходимо решить.

Параметры алгоритма: <math>m<\math> - размерность подпространства Крылова, <math>\varepsilon<\math> - параметр останова алгоритма.

Выходные данные: решение системы в виде вектора.

Краткое описание алгоритма:
* Задать параметры алгоритма и начальное приближение;
* Пока не выполнен критерий останова повторить:
** Построить базис подпространства Крылова;
** Минимизировать невязку.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{m} - </math>приближенное решение системы.

В качестве нормы рассматривается евклидова норма.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T21:53:20Z

Анюшева Ирина: /* Математическое описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Входные данные алгоритма: система линейных алгебраических уравнений, которую необходимо решить.
Параметры алгоритма: m - размерность подпространства Крылова, \varepsilon - параметр останова алгоритма.
Выходные данные: решение системы в виде вектора.
Краткое описание алгоритма:
* Задать параметры алгоритма и начальное приближение;
* Пока не выполнен критерий останова повторить:
** Построить базис подпространства Крылова;
** Минимизировать невязку.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{m} - </math>приближенное решение системы.

В качестве нормы рассматривается евклидова норма.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T21:48:22Z

Анюшева Ирина: /* Математическое описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Входные данные алгоритма: система линейных алгебраических уравнений, которую необходимо решить.
Параметры алгоритма: m - размерность подпространства Крылова, \varepsilon - параметр останова алгоритма.
Выходные данные: решение системы в виде вектора.
Краткое описание алгоритма:
* Задать параметры алгоритма и начальное приближение;
* Пока не выполнен критерий останова повторить:
** Построить базис подпространства Крылова;
** Минимизировать невязку.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

В качестве нормы рассматривается евклидова норма.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T21:34:43Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Входные данные алгоритма: система линейных алгебраических уравнений, которую необходимо решить.
Параметры алгоритма: m - размерность подпространства Крылова, \varepsilon - параметр останова алгоритма.
Выходные данные: решение системы в виде вектора.
Краткое описание алгоритма:
* Задать параметры алгоритма и начальное приближение;
* Пока не выполнен критерий останова повторить:
** Построить базис подпространства Крылова;
** Минимизировать невязку.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T20:21:39Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T20:21:28Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

%%Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.%%

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T20:21:15Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

%Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.%

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T20:20:47Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

\begin{comment}Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.\end{comment}

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T20:20:08Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

'Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T20:19:52Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

//Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T20:19:31Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.
/*
Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.
*/

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-11T20:16:59Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю. Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-10T15:46:38Z

Анюшева Ирина: /* Свойства и структура алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-10T15:45:44Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом и впервые предложен в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-10T14:57:21Z

Анюшева Ирина: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o prog

#!/bin/bash
for a in `seq 0 7`;
do
let b=2**$a
sbatch -p test -n $b impi ./prog
sleep 600s
done

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-07T20:48:57Z

Анюшева Ирина: /* Общее описание алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальной невязкой. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o duck

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-07T20:44:35Z

Анюшева Ирина: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
Использованные команды для компиляции и запуска:

mpicc main3.c -o duck

В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-02T19:24:04Z

Анюшева Ирина:

{{Assignment}}
{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>O(mn)</math>
| pf_width = <math>O(mn)</math>
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-02T19:14:35Z

Анюшева Ирина: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Из рисунков видно, что при увеличении количества процессов, а также при увеличении размерности задачи, производительность параллельной реализации алгоритма уменьшается, что говорит о плохой масштабируемости.
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-02T18:49:20Z

Анюшева Ирина: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2048] с шагом 128.
В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-02T18:48:59Z

Анюшева Ирина: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2014] с шагом 128.
В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска. Размерность подпространства Крылова во всех случаях равна 10.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Рис.2 Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]
[[File:Anyusheva iskhakovEfficiency.jpg|thumb|center|1500px|Рис.3 Изменение эффективности выполнения в зависимости от числа процессов и размера входной матрицы]]
Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-02T18:45:54Z

Анюшева Ирина: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2014] с шагом 128.
В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.002%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]

Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-02T18:44:14Z

Анюшева Ирина: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==
Исследование масштабируемости параллельной реализации итерационного метода решения системы линейных алгебраических уравнений GMRES проводилось в тестовой среде суперкомпьютера "Ломоносов". Алгоритм реализован на языке С с использованием библиотеки IntelMPI версии 4.1.0. Сборка производилась при помощи компилятора, разработанным компанией Intel версии 13.1.0.
Набор и границы значений изменяемых параметров запуска:
*число процессов [1 : 128] со значениями, равными степеням двойки;
*размер матрицы [128 : 2014] с шагом 128.
В результате проведенных экспериментов был получен следующий диапазон эффективности реализации алгоритма:
*минимальная эффективность реализации 0.02%;
*максимальная эффективность реализации 4.92%.
На следующих рисунках приведены графики производительности и эффективности выбранной реализации в зависимости от изменяемых параметров запуска.
[[File:Anyusheva iskhakovPerformance.jpg|thumb|center|1500px|Изменение производительности выполнения в зависимости от числа процессов и размера входной матрицы]]

Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-12-02T17:04:59Z

Анюшева Ирина: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

=Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

Исследуемая реализация алгоритма доступна по [http://pastebin.com/vEyb3kuS ссылке].

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-28T18:56:25Z

Анюшева Ирина:

{{assignment}}

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= ЧАСТЬ. Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-28T18:56:11Z

Анюшева Ирина:

[[assignment]]

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[U:Анюшева Ирина|Анюшева Ирина]] (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= ЧАСТЬ. Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T19:42:10Z

Анюшева Ирина: /* Макроструктура алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Нижеперечисленные шаги алгоритма и входящие в них операции являются наиболее ресурсоемкими. Они выполняются в приведенном порядке. Каждый из них допускает распараллеливание:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= ЧАСТЬ. Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T19:21:55Z

Анюшева Ирина: /* Существующие реализации алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Реализация алгоритма в библиотеке IML++ [http://math.nist.gov/iml++/gmres.h.txt]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= ЧАСТЬ. Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T19:17:36Z

Анюшева Ирина: /* Существующие реализации алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеке SciPy [https://docs.scipy.org/doc/scipy-0.17.0/reference/generated/scipy.sparse.linalg.gmres.html]
* Библиотека для MATLAB [http://www.mathworks.com/help/matlab/ref/gmres.html]

= ЧАСТЬ. Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T19:04:03Z

Анюшева Ирина: /* ЧАСТЬ. Литература */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

= ЧАСТЬ. Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. М.Ю. Баландин, Э.П. Шурина. Некоторые оценки эффективности параллельных алгоритмов решения СЛАУ на подпространствах Крылова. - Вычислительные технологии, том 3, №1, 1998

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T18:59:22Z

Анюшева Ирина: /* ЧАСТЬ. Литература */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

= ЧАСТЬ. Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Е.Е. Тыртышников. Методы численного анализа. – Москва: Академия, 2007

3. Бала

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T18:51:04Z

Анюшева Ирина: /* ЧАСТЬ. Литература */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

= ЧАСТЬ. Литература=
1. Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2. Тыртышников Е.Е. Методы численного анализа. – Москва: Академия, 2007

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T18:48:47Z

Анюшева Ирина: /* ЧАСТЬ. Литература */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

= ЧАСТЬ. Литература=
1.Y. Saad, M.H. Schultz. GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. SIAM J. Sci. Statist. Comput., 7 (1986), pp. 856–869

2.Тыртышников Е. Е. Методы численного анализа

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T18:39:47Z

Анюшева Ирина: /* Информационный граф */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px|Рис.1. Информационная структура алгоритма GMRES]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

= ЧАСТЬ. Литература=
1.Y.Saad and M.Schultz GMRES: a generalized minimal residual algorithm for solving nonsymmetric linear systems

2.Тыртышников Е. Е. Методы численного анализа

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T18:35:53Z

Анюшева Ирина:

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

= ЧАСТЬ. Свойства и структура алгоритма =
== Общее описание алгоритма ==
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

== Математическое описание алгоритма ==
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

===Ортогонализация Арнольди===
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

===Минимизация невязки===

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

==Вычислительное ядро алгоритма==

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

==Макроструктура алгоритма==

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

==Схема реализации последовательного алгоритма==

===Шаги алгоритма===

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

===Решение задачи минимизации невязки===

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

==Последовательная сложность алгоритма==

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

==Информационный граф==
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px]]

==Ресурс параллелизма алгоритма==
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

==Входные и выходные данные алгоритма==

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

==Свойства алгоритма==

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

= ЧАСТЬ. Программная реализация алгоритма=

==Особенности реализации последовательного алгоритма==

==Локальность данных и вычислений==

==Возможные способы и особенности параллельной реализации алгоритма==

==Масштабируемость алгоритма и его реализации==

==Динамические характеристики и эффективность реализации алгоритма==

==Выводы для классов архитектур==

==Существующие реализации алгоритма==
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

= ЧАСТЬ. Литература=
1.Y.Saad and M.Schultz GMRES: a generalized minimal residual algorithm for solving nonsymmetric linear systems

2.Тыртышников Е. Е. Методы численного анализа

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T18:34:03Z

Анюшева Ирина:

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

== ЧАСТЬ. Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px]]

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

== ЧАСТЬ. Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

== ЧАСТЬ. Литература==
1.Y.Saad and M.Schultz GMRES: a generalized minimal residual algorithm for solving nonsymmetric linear systems

2.Тыртышников Е. Е. Методы численного анализа

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-27T18:30:17Z

Анюшева Ирина:

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа, разделы: 1.1-1.2, 1.7-1.8, 2.7, 3), Исхаков Эльдар (614 группа, разделы 1.3-1.6, 1.9-1.10)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px]]

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

==Литература==
1.Y.Saad and M.Schultz GMRES: a generalized minimal residual algorithm for solving nonsymmetric linear systems

2.Тыртышников Е. Е. Методы численного анализа

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-22T12:41:50Z

Анюшева Ирина: /* Информационный граф */

{{Assignment}}
{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм, что показано в блоке на темно-синем фоне. В блоке <math>min</math> решается задача минимизации невязки, которая, строго говоря, является отдельной самостоятельной задачей.
[[file:gmres.jpg|thumb|center|700px]]

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

==Литература==
1.Y.Saad and M.Schultz GMRES: a generalized minimal residual algorithm for solving nonsymmetric linear systems

2.Тыртышников Е. Е. Методы численного анализа

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-21T09:08:16Z

Анюшева Ирина:

{{Assignment}}
{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм.
[[file:gmres.jpg|thumb|center|700px]]

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

==Литература==
1.Y.Saad and M.Schultz GMRES: a generalized minimal residual algorithm for solving nonsymmetric linear systems

2.Тыртышников Е. Е. Методы численного анализа

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-21T09:06:17Z

Анюшева Ирина: /* Литература */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм.
[[file:gmres.jpg|thumb|center|700px]]

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

==Литература==
1.Y.Saad and M.Schultz GMRES: a generalized minimal residual algorithm for solving nonsymmetric linear systems

2.Тыртышников Е. Е. Методы численного анализа

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-21T08:54:38Z

Анюшева Ирина: /* Информационный граф */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===
Метод состоит из двух блоков: ортогонализация и минимизация невязки. При ортогонализации основными операциями являются умножение матрицы на вектор и скалярное умножение векторов, для которых возможен параллелизм.
[[file:gmres.jpg|thumb|center|700px]]

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

==Литература==

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-20T14:55:49Z

Анюшева Ирина: /* Информационный граф */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===
[[file:gmres.jpg|thumb|center|700px]]

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

==Литература==

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-19T22:16:44Z

Анюшева Ирина: /* Существующие реализации алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===
* Реализация алгоритма в библиотеках LASpack, IML++, SciPy
* Библиотека для MATLAB: http://www.mathworks.com/help/matlab/ref/gmres.html

==Литература==

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-19T20:17:23Z

Анюшева Ирина: /* Свойства алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: GMRES в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===

==Литература==

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-19T20:17:06Z

Анюшева Ирина: /* Свойства алгоритма */

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

* Вычислительная мощность: весьма маленькая и равна <math>m^2</math>, так как <math>m<<n</math>.

* Устойчивость: <math>GMRES</math> в этом плане является очень хорошим методом. Теоретически можно получить точное решение не более чем за <math>n</math> итераций. Однако, очень приемлемые результаты получаются и за <math>m<<n</math> итераций. Однако, есть примеры, в которых видно, что первые <math>m-1</math> итераций дают невязку, равную некой константе, а на итерации под номером <math>m</math> получаем точное решение.

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===

==Литература==

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-19T19:50:04Z

Анюшева Ирина:

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = 1
| pf_width = 1
| input_data = <math>n^2+2n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===

==Литература==

Участник:Анюшева Ирина/Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)

2016-10-19T19:48:55Z

Анюшева Ирина:

{{algorithm
| name = GMRES (обобщенный метод минимальных невязок)
| serial_complexity = <math>O(m^2n^2)</math>
| pf_height = <math>n^2+2n</math>
| pf_width = <math>n</math>
| input_data = 1
| output_data = 1
}}

Основные авторы описания: Анюшева Ирина (614 группа), Исхаков Эльдар (614 группа)

== Свойства и структура алгоритма ==
=== Общее описание алгоритма ===
Обобщенный метод минимальных невязок (GMRES) для решения системы линейных алгебраических уравнений аппроксимирует решение с помощью вектора в подпространстве Крылова с минимальным остатком. Метод GMRES разработан Ю.Саадом и Мартин Х. Шульцом в 1986 году. Метод по праву считается одним из самых эффективных численных методов решения несимметричных систем. Он гарантирует неувеличение нормы невязки в ходе итерационного процесса, который основан на построении базиса в соответствующей системе подпространстве Крылова <math>K_j(A, r_0)</math>.
Затем решение уточняется некоторой добавкой, представленной в виде разложения по этому базису.

Метод обобщенных минимальных невязок популярен из-за наличия ряда преимуществ: он ошибкоустойчив, допускает эффективное распараллеливание, не требует нахождения параметра релаксации, обладает суперлинейной скоростью сходимости. Однако в чистом виде для больших систем метод не используется из-за чрезвычайно больших затрат памяти. Зато широкое распространение получила перезапускаемая версия метода, подоразумевающая перезапуск метода каждые m итераций. Уменьшение размерности пространства может привести к стагнации метода – процессу, при котором с каждой следующей итерацией норма невязки уменьшается незначительно, либо не уменьшается вовсе.

=== Математическое описание алгоритма ===
Исходные данные: система линейных алгебраических уравнений <math>Ax=b</math>, где:

<math>A=(a_{ij})</math> <math>-</math> вещественная матрица размера <math>n \times n</math>;

<math>b</math> и <math>x</math> вектора из <math>n</math> элементов;

<math>x^*</math> <math>-</math> точное решение системы.

Вычисляемые данные: <math>x^{(s)} - </math>приближенное решение системы.

====Ортогонализация Арнольди====
Для построения базиса <math>V</math> в подпространстве Крылова в методе GMRES применяется ортогонализация Арнольди.

Формулы метода:
:<math>
\begin{align}
(h_{i+1,i}v_{i+1}) & = Av_i - \sum_{j = 1}^{i} h_{j,i}v_j, \\
v_1 &= \frac{r_0}{\parallel r_0 \parallel},
\end{align}
</math>
В матрично-векторных обозначениях соотношение может быть записано как
:<math>
\begin{align}
AV_i &= V_i H_i + h_{i+1,i}v_{i+1} e_i^T &=V_{i+1}\overline{H}_i,
\end{align}
</math>
:<math>
\begin{align}
V_i &= [v_1|v_2|...|v_i], \overline{H}_i - \end{align}
</math> верхняя матрица Хессенберга размерности <math>(i+1)\times i</math>

====Минимизация невязки====

Невязку уравнения можно определить как
<math> J(y) = \parallel b- A x\parallel = \parallel b- (Ax_0+V_m y)\parallel =\parallel \beta e_1 - \overline{H}_m y \parallel</math>,
где <math>y -</math> вектор размерности <math>m</math>.

Вектор <math>x_m</math> может быть получен как
<math>x_m = x_0 + V_m y_m</math>, вектор <math>y_m</math> может найден как решение линейной задачи наименьших квадратов размера <math>(m+1)\times m</math>, где <math>m<<n</math>.

Для решения задачи минимизации приведем матрицу <math>\overline{H}_m</math> к верхнему треугольному виду с помощью вращений Гивенса. На шаге
<math>i</math> матрица вращения <math>\Omega_i</math> имеет размеры <math>(m+1)\times (m+1)</math> и имеет следующий вид:

<math>
\Omega_i= \begin{pmatrix}
1 & &&&&&& \\
&\ddots &&&&&&\\
&&1&&&&& \\
&&&c_i&s_i &&& \\
&&&-s_i& c_i &&&\\
&&&&&1&&& \\
&&&&&&\ddots&\\
&&&&&&&1 \\
\end{pmatrix}</math>

===Вычислительное ядро алгоритма===

В алгоритме GMRES присутствуют два ресурсоемких с точки зрения вычислительных мощностей этапа:

* умножение исходной матрицы на вектор при вычислении невязок;

* вычисление скалярных произведений векторов при построении ортонормированного базиса подпространства Крылова.

===Макроструктура алгоритма===

Наиболее ресурсоемкие операции при выполнении алгоритма:

* Вычисление нормы невязки для задачи "начальных" условий;

* Вычисление элементов Хессенберговой матрицы - матрично-векторные умножения и скалярные произведения векторов;

* Вычисление произведений разреженных матриц при минимизации невязки.

===Схема реализации последовательного алгоритма===

====Шаги алгоритма====

1. Выбрать произвольное <math>x_0</math>; вычислить <math>r_0=b-Ax_0</math> и <math>v_1=\frac{r_0}{\parallel r_0 \parallel}</math>

2. Задать матрицу <math>\overline{H}_m</math> размерности <math>(m+1)\times m</math> и всем ее элементам присвоить нулевые значения

3. Для <math>j=1,\dots,m</math> выполнять:

* для <math>i=1,\dots,j</math> выполнять: <math>h_{i,j}=(Av_j,v_i)</math>
* <math>\omega_j=Av_j-\sum_{i=1}^j h_{i,j}v_i</math>
* <math>h_{j+1,j}={\parallel \omega_j \parallel}</math>
* <math>v_{j+1}=\frac{\omega_j}{h_{j+1,j}}</math>

4. Вычислить <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel,\ y \in \mathbb{R}^m</math> и <math>x_m=x_0+V_my_m</math>

5. Вычислить <math>r_m=b-Ax_m</math>. Если достигнутая точность удовлетворительна, остановиться.

Иначе принять <math>x_0=x_m</math> и <math>v_1=\frac{r_m}{\parallel r_m \parallel}</math> и вернуться к пункту 2.

====Решение задачи минимизации невязки====

Для нахождения <math>y_m=\arg\min_{y} \parallel \beta e_1 - \overline{H}_my \parallel</math> необходимо выполнить следующие шаги:

1. Найти <math>m</math> матриц вращений Гивенса <math>\Omega_i(c_i,s_i),\ i=1,\dots,m</math> размера <math>(m+1)\times(m+1)</math>, где <math>s_i=\frac{h_{i+1,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>, <math>c_i=\frac{h_{i,i}}{\sqrt{h_{i,i}^2+h_{i+1,i}^2}}</math>

2. Вычислить <math>\overline{H}_m^{(m)}=\Omega_1\dots\Omega_m\overline{H}_m</math> и <math>\overline{g}_m=\Omega_1\dots\Omega_m\beta e_1</math>, удалить последнюю строку и последний элемент соответственно и решить СЛАУ с полученной верхнетреугольной матрицей и правой частью. Полученное решение <math>y_m</math> минимизирует исходный функционал.

===Последовательная сложность алгоритма===

Для выполнения одной итерации алгоритма необходимо произвести:

* <math>3m+1</math> делений;

* <math>2m+1</math> вычислений квадратного корня;

* <math>n^2+\frac{3m+5}{2}n</math> умножений;

* <math>O(\frac{m^2n^2}{2})</math> сложений (вычитаний).

===Информационный граф===

===Ресурс параллелизма алгоритма===
Для нахождения матрично-векторных произведений при вычислении невязок матрица СЛАУ должна быть подвергнута декомпозиции на строчные блоки, размеры которых определяются требованиями равномерности загрузки. Соответствующим образом подвергается декомпозиции и вектор правой части. Для наиболее эффективного вычисления скалярных произведений и линейных комбинаций векторов базиса каждый из векторов <math>v_j</math> должен быть разбит на блоки равного размера по числу процессов; каждый из процессов при этом хранит соответствующие блоки всех векторов. Обработка вектора решения дублируется на всех процессах.

===Входные и выходные данные алгоритма===

'''Входные данные:'''
* матрица <math>A</math> размера <math>n\times n</math>;
* вектор-столбец <math>b</math> размера <math>n</math>;
* вектор-столбец <math>x_0</math> размера <math>n</math> - начальное приближение;
* натуральное число <math>m<<n</math>, определяющее размерность подпространства Крылова.

'''Выходные данные:'''
* вектор-столбец <math>x</math> размера <math>n</math> - решение системы.

===Свойства алгоритма===

==Программная реализация алгоритма==

===Особенности реализации последовательного алгоритма===

===Локальность данных и вычислений===

===Возможные способы и особенности параллельной реализации алгоритма===

===Масштабируемость алгоритма и его реализации===

===Динамические характеристики и эффективность реализации алгоритма===

===Выводы для классов архитектур===

===Существующие реализации алгоритма===

==Литература==