Алговики - Вклад [ru]

Обсуждение участника:Смирнова Александра

2016-12-09T19:04:59Z

Александра Киямова: /* По существу */

== Статья [[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(3)]] ==

=== По существу ===

Все приведённые реализации (и, видимо, предстоящие замеры) используют два приёма ускорения - приведение к хессенбергу и сдвиги. Но их нет в описании. Требуется переработка почти всех разделов. --[[Участник:Frolov|Фролов А.В.]] ([[Обсуждение участника:Frolov|обсуждение]]) 12:52, 10 ноября 2016 (MSK)
* Выполнено --[[Участник:Смирнова Александра|Смирнова Александра]] ([[Обсуждение участника:Смирнова Александра|обсуждение]]) 13:44, 19 ноября 2016 (MSK)
** Хорошо, во вкладке оценку исправить осталось. --[[Участник:Frolov|Фролов А.В.]] ([[Обсуждение участника:Frolov|обсуждение]]) 17:25, 6 декабря 2016 (MSK)
*** Исправлено --[[Участник:Смирнова Александра|Смирнова Александра]] ([[Обсуждение участника:Смирнова Александра|обсуждение]]) 20:24, 6 декабря 2016 (MSK)

* К сожалению, в статье, на которую Вы ссылались, были ошибки в терминологии (это ещё незавершённая болванка). Соответственно, я ссылки подправил сам, но Вам надо посмотреть по тексту, не остались ли следы этого. --[[Участник:Frolov|Фролов А.В.]] ([[Обсуждение участника:Frolov|обсуждение]]) 12:49, 8 декабря 2016 (MSK)
** Исправлено (ошибки в пунктах 1.2.1.1 и 1.2.5, ссылка в списке литературы). --[[Участник:Александра Киямова|Александра Киямова]] ([[Обсуждение участника:Александра Киямова|обсуждение]]) 22:04, 9 декабря 2016 (MSK)

=== Замечания ===

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-12-09T18:59:34Z

Александра Киямова: /* Приведение матрицы к форме Хессенберга */

{{Assignment|VadimVV}}
{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>O(n^3)+N*O(n^2)</math>
| pf_height = <math>O(n^2)+N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-1</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(почти_треугольной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-2</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0]: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров.

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

При увеличении числа процессоров время работы программы увеличивается при малом размере матрицы, распараллеливание алгоритма неэффективно. Однако при больших размерах матрицы (более <math style="vertical-align:0%"> 10^3\times10^3</math>) время работы параллельной реализации значительно меньше последовательной.

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta]. Библиотека [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0] была установлена вручную.
Компиляция проводилась с использованием компилятора mpicxx с опциями -lscalapack и -llapack с указанием полного пути до используемых библиотек.

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-12-09T18:59:08Z

Александра Киямова: /* Приведение матрицы к форме Хессенберга */

{{Assignment|VadimVV}}
{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>O(n^3)+N*O(n^2)</math>
| pf_height = <math>O(n^2)+N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-1</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(почти_треугольной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти_треугольной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-2</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0]: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров.

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

При увеличении числа процессоров время работы программы увеличивается при малом размере матрицы, распараллеливание алгоритма неэффективно. Однако при больших размерах матрицы (более <math style="vertical-align:0%"> 10^3\times10^3</math>) время работы параллельной реализации значительно меньше последовательной.

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta]. Библиотека [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0] была установлена вручную.
Компиляция проводилась с использованием компилятора mpicxx с опциями -lscalapack и -llapack с указанием полного пути до используемых библиотек.

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-12-09T18:55:03Z

Александра Киямова: /* Приведение матрицы к форме Хессенберга */

{{Assignment|VadimVV}}
{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>O(n^3)+N*O(n^2)</math>
| pf_height = <math>O(n^2)+N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-1</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(почти_треугольной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-2</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0]: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров.

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

При увеличении числа процессоров время работы программы увеличивается при малом размере матрицы, распараллеливание алгоритма неэффективно. Однако при больших размерах матрицы (более <math style="vertical-align:0%"> 10^3\times10^3</math>) время работы параллельной реализации значительно меньше последовательной.

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta]. Библиотека [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0] была установлена вручную.
Компиляция проводилась с использованием компилятора mpicxx с опциями -lscalapack и -llapack с указанием полного пути до используемых библиотек.

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-12-09T18:52:18Z

Александра Киямова: /* Приведение матрицы к форме Хессенберга */

{{Assignment|VadimVV}}
{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>O(n^3)+N*O(n^2)</math>
| pf_height = <math>O(n^2)+N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-1</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-2</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0]: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров.

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

При увеличении числа процессоров время работы программы увеличивается при малом размере матрицы, распараллеливание алгоритма неэффективно. Однако при больших размерах матрицы (более <math style="vertical-align:0%"> 10^3\times10^3</math>) время работы параллельной реализации значительно меньше последовательной.

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta]. Библиотека [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0] была установлена вручную.
Компиляция проводилась с использованием компилятора mpicxx с опциями -lscalapack и -llapack с указанием полного пути до используемых библиотек.

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-12-09T18:51:35Z

Александра Киямова: /* Приведение матрицы к форме Хессенберга */

{{Assignment|VadimVV}}
{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>O(n^3)+N*O(n^2)</math>
| pf_height = <math>O(n^2)+N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-1</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math>n-2</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0]: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров.

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

При увеличении числа процессоров время работы программы увеличивается при малом размере матрицы, распараллеливание алгоритма неэффективно. Однако при больших размерах матрицы (более <math style="vertical-align:0%"> 10^3\times10^3</math>) время работы параллельной реализации значительно меньше последовательной.

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta]. Библиотека [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0] была установлена вручную.
Компиляция проводилась с использованием компилятора mpicxx с опциями -lscalapack и -llapack с указанием полного пути до используемых библиотек.

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-12-09T18:49:49Z

Александра Киямова: /* Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы */

{{Assignment|VadimVV}}
{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>O(n^3)+N*O(n^2)</math>
| pf_height = <math>O(n^2)+N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n-1</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math>n-1</math> шага, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0]: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров.

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

При увеличении числа процессоров время работы программы увеличивается при малом размере матрицы, распараллеливание алгоритма неэффективно. Однако при больших размерах матрицы (более <math style="vertical-align:0%"> 10^3\times10^3</math>) время работы параллельной реализации значительно меньше последовательной.

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta]. Библиотека [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0] была установлена вручную.
Компиляция проводилась с использованием компилятора mpicxx с опциями -lscalapack и -llapack с указанием полного пути до используемых библиотек.

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-11-18T22:16:34Z

Александра Киямова:

{{Assignment}}
{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>N*O(n^3)</math>
| pf_height = <math>N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math>n-1</math> шага, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0]: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров.

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

При увеличении числа процессоров время работы программы увеличивается при малом размере матрицы, распараллеливание алгоритма неэффективно. Однако при больших размерах матрицы (более <math style="vertical-align:0%"> 10^3\times10^3</math>) время работы параллельной реализации значительно меньше последовательной.

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta]. Библиотека [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0] была установлена вручную.
Компиляция проводилась с использованием компилятора mpicxx с опциями -lscalapack и -llapack с указанием полного пути до используемых библиотек.

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-11-18T22:10:57Z

Александра Киямова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>N*O(n^3)</math>
| pf_height = <math>N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math>n-1</math> шага, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0]: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров.

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

При увеличении числа процессоров время работы программы увеличивается при малом размере матрицы, распараллеливание алгоритма неэффективно. Однако при больших размерах матрицы (более <math style="vertical-align:0%"> 10^3\times10^3</math>) время работы параллельной реализации значительно меньше последовательной.

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta]. Библиотека [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0] была установлена вручную.
Компиляция проводилась с использованием компилятора mpicxx с опциями -lscalapack и -llapack с указанием полного пути до используемых библиотек.

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-11-18T22:09:23Z

Александра Киямова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>N*O(n^3)</math>
| pf_height = <math>N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math>n-1</math> шага, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0]: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров.

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

При увеличении числа процессоров время работы программы увеличивается при малом размере матрицы, распараллеливание алгоритма неэффективно. Однако при больших размерах матрицы (более <math style="vertical-align:0%"> 10^3\times10^3</math>) время работы параллельной реализации значительно меньше последовательной.

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta]. Библиотека [http://www.netlib.org/scalapack/#_scalapack_version_2_0_0 ScaLAPACK v2.0.0] была установлена вручную.
Компиляция проводилась с использованием компилятора mpicxx с опциями -lscalapack и -llapack.

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-11-18T21:43:51Z

Александра Киямова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>N*O(n^3)</math>
| pf_height = <math>N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math>n-1</math> шага, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке ScaLAPACK: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров. Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta].

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

[https://algowiki-project.org/pool/File:QR-Kiyamova-Smirnova.docx Код программы]

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-11-18T21:15:11Z

Александра Киямова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>N*O(n^3)</math>
| pf_height = <math>N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math>n-1</math> шага, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке ScaLAPACK: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров. Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta].

[[Файл:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-11-18T21:14:20Z

Александра Киямова: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Нахождение собственных чисел квадратной матрицы методом QR разложения
| serial_complexity = <math>N*O(n^3)</math>
| pf_height = <math>N*O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math> n^2 </math>
| output_data = <math> n </math>
}}

Основные авторы описания:
*[[Участник:Смирнова_Александра|Смирнова А.С.]] - описание теоретической части
*[[Участник:Александра_Киямова|Киямова А.]] - описание программистской части
Содержательно все пункты обсуждались авторами вместе, и их вклад был равным.

----

Задача нахождения собственных значений и собственных векторов для матрицы <math>A</math> заключается в поиске таких чисел <math>\lambda</math>, которые удовлетворяют уравнению:

<math style="vertical-align:0%">Ax=\lambda x</math>, при этом, числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>Ильин В.А., Ким Г.Д. "Линейная алгебра и аналитическая геометрия".</ref>.

Данная задача является одной из важнейших задач линейной алгебры. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует простых алгоритмов прямого вычисления собственных значений для матриц в общем случае, поэтому данная задача на практике решается численными методами. Одним из таких методов является QR-алгоритм.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

----

QR-алгоритм — это численный метод в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом алгоритм позволяет найти и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В. Н. Кублановской(Россия) и Дж. Фрэнсисом(Англия). Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>.

Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.

Однако базовый QR-алгоритм может обладать очень низкой скоростью сходимости, поэтому существует несколько способов ускорить его:
* Перед итерациями привести матрицу <math>A</math> к подобной ей матрице <math>A_H</math>, которая будет иметь форму Хессенберга. Данный шаг позволит ускорить процесс QR-разложения.
* Использовать QR-алгоритм со сдвигами. Это позволит уменьшить количество итераций алгоритма.
В дальнейшем, в данной статье под модифицированным алгоритмом будет пониматься алгоритм, использующий сдвиги и матрицу с формой Хессенберга. Под базовым алгоритмом будет пониматься алгоритм, не использующий данные приемы.

=== Математическое описание алгоритма ===

----

==== QR-разложение матрицы ====

Основой алгоритма является тот факт, что любую вещественную матрицу можно разложить на произведение двух матриц следующего вида:

::<math>A=QR</math>, где <math>Q</math> - ортогональная матрица (<math>Q^T=Q^{-1}</math>), <math>R</math> - верхняя треугольная матрица.

Данное разложение называется QR-разложением.

Есть несколько алгоритмов вычисления QR-разложения матрицы<ref>[[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]</ref>
<ref>[[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]</ref>. Кратко опишем их в данной статье.

===== Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы]]

Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы отражения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении всех поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math style="vertical-align:0%">n</math> шагов, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }vv^*</math>, где вектор <math>v</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

===== Метод Гивенса (вращений) QR-разложения квадратной матрицы =====

:''Основная статья:'' [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений) QR-разложения квадратной матрицы]]

Суть метода Гивенса заключается в последовательном приведении матрицы <math>A</math> к верхней треугольной форме при помощи домножения ее на так называемые матрицы вращения. Получившаяся треугольная матрица будет искомой матрицей <math style="vertical-align:0%">R</math>, а матрица <math>Q</math> будет равна произведению сопряженных матриц вращения.

На каждом шаге задачей матрицы вращения является обнуление одного поддиагонального элемента. Вначале обнуляются все поддиагональные элементы 1-го столбца, затем 2-го и так далее до <math>(n-1)</math>-го. Таким образом, алгоритм состоит из <math>\frac{n(n-1)}{2}</math> шагов на каждом из которых вычисляется очередная матрица вращения, после чего она применяется к матрице, которая является результатом предыдущего шага.

Матрицы вращения <math>T_{ij}</math> по ствоей структуре очень близки к единичным матрицам, за исключением четырех элементов: элементы с номерами <math>ii</math> и <math>jj</math> содержат некоторое число-параметр <math>c</math>, элементы с номерами <math>ij</math> и <math>ji</math> содержат числа-параметры <math>-s</math> и <math>s</math> соответственно. Вычисление параметров <math>c</math> и <math>s</math> происходит на каждом шаге в зависимости от текущей матрицы и состоит из простых численных арифметических операций. Умножение матрицы вращения на текущую матрицу может быть представлено как последовательное изменение элементов с номерами <math>ik</math> и <math>kk</math> для всех столбцов <math>k</math> находящихся правее столбца <math>i</math>. Каждое такое изменение по своей структуре эквивалентно операции перемножения двух комплексных чисел.

==== QR-алгоритм нахождения собственных чисел====

Пусть матрица <math>A</math> - матрица, для которой мы хотим найти собственные значения. Тогда итерационный процесс строится следующим образом:
#<math>A_0=A</math>.
#Пусть имеется матрица <math>A_k</math>, тогда матрица <math>A_{k+1}</math> строится следующим образом:
::::*Строится QR-разложение: <math>A_k=Q_kR_k</math>.
::::*Вычисляется <math>A_{k+1}=R_kQ_k</math>.

Заметим, что <math>A_{k+1}=R_kQ_k={Q_{k}^{-1}}Q_kR_kQ_k={Q_{k}^{-1}}A_kQ_k={Q_{k}^{T}}A_kQ_k</math>.

Таким образом матрицы <math>A_{k+1}</math> и <math>A_{k}</math> подобны для <math>\forall k</math>, а значит, в силу транзитивности подобия, все матрицы <math>A_{k}</math> подобны матрице <math>A</math> и имеют одинаковый набор собственных значений.

==== Сходимость алгоритма ====
Предположим, что для <math style="vertical-align:0%">\forall m</math> выполнены следующие условия:

::1. <math>A=X\Lambda X^{-1}</math>, где <math>\Lambda =\begin{bmatrix}
\Lambda_1 & 0\\
0 & \Lambda_2
\end{bmatrix}, \Lambda_1\in\mathbb{C}^{m\times m},\Lambda_2\in\mathbb{C}^{r\times r} </math>.

::2. <math>\left | \lambda_1 \right | \geq ...\geq \left | \lambda_m \right | >\left | \lambda_{m+1} \right | \geq ...\geq \left | \lambda_{m+r} \right | > 0 </math>, где <math>\{\lambda_1,...,\lambda_m\} = \lambda(\Lambda_1), \{\lambda_{m+1},...,\lambda_{m+r}\} = \lambda(\Lambda_2) </math>.

::3. Ведущая подматрица порядка <math style="vertical-align:0%">m</math> в <math style="vertical-align:0%">X^{-1}</math> невырождена.

Тогда при <math style="vertical-align:0%"> k \rightarrow \infty </math> последовательность матриц <math>A_k</math> сходится к матрице с верхней треугольной формой<ref>Тыртышников Е.Е. "Методы численного анализа" — М., Академия, 2007. - 320 c.</ref>.

Таким образом, на практике необходимо выполнять итерации до тех пор пока матрица <math>A_k</math> не станет треугольной (также можно продолжать выполнять их пока искомая матрица не будет найдена с некоторой заранее заданной точностью <math>\varepsilon</math>). Если итерации закончились на шаге <math>N</math>, то числа на диагонали матрицы <math>A_N</math> будут считаться собственными значениями матрицы <math>A</math>.

==== Вещественный вариант QR-алгоритма ====

Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>.

<math>A_N=
\begin{bmatrix}
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare
\end{bmatrix}</math>.

В дальнейшем, в данной статье, матрицы, имеющие вышеописанную форму, будут называться квазитреугольными.

==== Приведение матрицы к форме Хессенберга ====

:''Основная статья:'' [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]

Матрицей, имеющей форму Хессенберга, называется такая матрица, у которой все элементы, находящиеся ниже первой поддиагонали, равны нулю (<math>a_{ij}=0</math> при <math>i<j+1</math>). Пример такой матрицы приведен ниже:

<math>\begin{bmatrix}
1& 2& 3& 4\\
2& 5& 6& 7\\
0& 3& 8& 9\\
0& 0& 4& 1
\end{bmatrix}</math>

Любую матрицу <math>A</math> можно привести к подобной ей матрице <math>A_H</math>, имеющей форму Хессенберга (в силу подобия данные матрицы будут иметь одинаковые собственные значения). Наличие нулевых элементов в данной матрице позволяет ускорить процесс QR-разложения, причем данное ускорение будет иметь место на каждой итерации алгоритма, т.к. матрица с формой Хессенберга инвариантна относительно QR-итерации. Ускорение можно получить за счет использования модифицированного метода Гивенса(вращений) QR-разложения, который из-за изначального наличия нулевых элементов будет состоять не из <math>\frac{n(n-1)}{2}</math> шагов, а из <math>n-1</math> шагов (будет происходить домножение только на те матрицы вращения <math>T_{ij}</math>, у которых <math>i=j+1</math>).


Одним из способов приведения матрицы к форме Хессенберга является Метод Хаусхолдера (отражений)<ref>[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]</ref>. Суть метода Хаусхолдера заключается в последовательном приведении матрицы <math style="vertical-align:0%">A</math> к форме Хессенберга при помощи домножения ее на так называемые матрицы отражения.

На <math style="vertical-align:0%">i</math>-ом шаге задача <math style="vertical-align:0%">i</math>-ой матрицы отражения заключается в обнулении поддиагональных элементов <math style="vertical-align:0%">i</math>-го столбца матрицы <math style="vertical-align:0%">A</math> (при этом столбцы левее <math style="vertical-align:0%">i</math>-го не изменяются). Таким образом, алгоритм состоит из <math>n-1</math> шага, на каждом из которых вычисляется очередная матрица отражения, после чего найденное отражение применяется к матрице, которая является результатом предыдущего шага.

Матрица отражения имеет вид <math>E-\frac{1}{\gamma }ww^*</math>, где вектор <math>w</math> вычисляется из текущего <math style="vertical-align:0%">i</math>-го столбца матрицы при помощи использования операции скалярного произведения векторов. Данное представление матриц отражения позволяет хранить их в виде одного вектора и сводит домножение матрицы отражения на текущую матрицу к арифметическим операциям над векторами (скалярное произведение и сложение векторов).

В основной статье "[[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме]]" данный алгоритм описан более подробно с той лишь разницей, что для QR-алгоритма нет необходимости обнулять наддиагональные элементы, как это сделано в вышеупомянутой статье.

==== QR-алгоритм со сдвигами ====

QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численный методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:

* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.

При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>:

<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.

В качестве параметра <math>\nu_k</math> может быть взят последний диагональный элемент матрицы <math>A_k</math>.


=== Вычислительное ядро алгоритма ===
----

==== Базовый алгоритм ====
QR-алгоритм обладает двумя вычислительными ядрами, которые повторяются на каждой итерации:

# Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>. Существует несколько методов решения данной задачи:
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]]: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]: вычислительное ядро данного алгоритма состоит из численных арифметических операций, необходимых для вычисления параметров матрицы вращения, и из операций (эквивалентных перемножению комплексных чисел), необходимых для пересчета матрицы на каждом шаге.
#[[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

==== Модифицированный алгоритм ====
Модифицированный QR-алгоритм обладает тремя вычислительными ядрами, первое вычисляется единожды, второе и третье повторяются на каждой итерации:
# Приведение изначальной матрицы к форме Хессенберга: вычислительное ядро данного алгоритма состоит из операций скалярного произведения, необходимых для вычисления матрицы отражения, и из операций скалярного произведения, необходимых для пересчета матрицы на каждом шаге.
# Вычисление QR-разложения матрицы: <math>A_k-\nu_kE=Q_kR_k</math> при помощи модифицированного метода Гивенса (вращений). Описание вычислительного ядра не отличается от приведенного в описании базового алгоритма, единственная разница заключается в значительно меньшем количестве матриц вращения.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение]] двух плотных матриц: <math>A_{k+1}-\nu_kE=R_kQ_k</math>.

=== Макроструктура алгоритма ===
----

Как уже было описано ранее, базовый QR-алгоритм содержит в себе две макрооперации:

#Вычисление QR-разложения матрицы: <math>A_k=Q_kR_k</math>.
#Перемножение двух плотных матриц: <math>A_{k+1}=R_kQ_k</math>.

В случае модифицированного QR-алгоритма появляется еще макрооперация приведения матрицы к форме Хессенберга.

=== Схема реализации последовательного алгоритма ===
----

==== Базовый алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
findQRdecomposition(curA,Q,R)
nextA = R*Q
}

==== Модифицированный алгоритм ====

Опишем необходимый для реализации цикл при помощи псевдокода:

A - исходная матрица.
curA - текущая матрица, на основе которой будет совершаться сдвиг и вычисляться QR-разложение на каждом шаге.
nextA - новая матрица, полученная после перемножения матриц R и Q.
nu - параметр сдвига
shiftA - текущая матрица со сдвигом.
triangular - функция, проверяющая, имеет ли матрица квазитреугольную форму.
difference - функция, проверяющая, что элементы двух матриц, стоящие на одинаковых местах, различаются не более чем на eps (данная функция нужна чтобы проверять не только сходимость матрицы к квазитреугольной форме, но и сходимость ее ненулевых элементов).

curA = A
nextA = A
'''while''' ( '''not''' (triangular(nextA) & difference(curA,nextA,eps)) )
{
curA = nextA
nu = computeNu(curA)
shiftA = curA - nu*E
findQRdecomposition(shiftA,Q,R)
nextA = R*Q + nu*E
}

=== Последовательная сложность алгоритма ===
----

==== Базовый алгоритм ====

Подсчитаем сложность одной итерации QR-алгоритма (расчет сложностей для QR-разложения и перемножения матриц представлен в статьях, посвященных данным алгоритмам).

# QR-разложение матрицы.
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет сложность <math>\frac{4}{3}n^3</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет сложность <math style="vertical-align:0%">2n^3</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет сложность <math style="vertical-align:0%">n^3</math>.
# Проверка матрицы на квазитреугольную форму состоит из набора сравнений элементов с номерами <math>ij</math> (<math>i>j+1</math>) с нулем (таких элементов <math>\frac{(n-2)(n-1)}{2}</math>). Поддиагональные элементы с номерами <math>ij</math> (<math>i=j+1</math>) должны быть проверены на соответствие необходимой квазитреугольной форме. Для этого достаточно для каждого такого элемента проверить следующее условие: <math>a_{i+1,i}==0 \vee a_{i,i-1}==0 \wedge a_{i+2,i+1}==0</math> (либо поддиагональный элемент равен 0, либо, в противном случае, соседние поддиагональные элементы равны 0, чтобы текущий элемент соответствовал блоку 2-го порядка). Таких проверок поддиагональных элементов будет <math>n-1</math>. После данных проверок следует набор логических операций "И" между результатами всех сравнений (таких операций будет <math>\frac{n(n-1)}{2}-1</math>).
# Сравнение новой матрицы с предыдущей состоит из операций вычитания и сравнения для каждой пары ненулевых соответствующих элементов (такие пары имеют номера элементов <math>ij</math> (<math>i \geq j+1</math>), количество таких пар равно <math>\frac{n(n+1)}{2}+(n-1)</math>), а также из набора логических операций "И" между результатами сравнений (таких операций будет <math>\frac{n(n+1)}{2}+(n-1)-1</math>).

Итого, в сумме получаем <math>O(n^3)</math> - сложность алгоритма на каждой итерации. Если алгоритм остановился на итерации с номером <math>N</math>, то общая сложность алгоритма будет равна <math>N*O(n^3)</math>.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# [[Метод_Хаусхолдера_(отражений)_приведения_матрицы_к_хессенберговой_(двухдиагональной)_форме|Метод Хаусхолдера (отражений)]] имеет последовательную сложность <math>O(n^3)</math>.
# QR-разложение матрицы, имеющей форму Хессенберга будет иметь сложность порядка <math>O(n^2)</math><ref name="bahvalov"/>.

Стоит заметить, что вычисление сдвигов по сравнению с другими операциями не обладает высокой сложностью, однако позволяет значительно сократить количество необходимых итераций.

Итого, в сумме получаем <math>O(n^2)</math> - сложность алгоритма на каждой итерации. Сложность всего алгоритма, с учетом приведения матрицы к форме Хессенберга, будет равна <math>O(n^3)+N*O(n^2)</math>

=== Информационный граф ===
----
==== Базовый алгоритм ====
На рисунках 1 и 2 изображен информационный граф QR-алгоритма. Вершины данного графа обозначают следующее:
* '''QR''' - операция QR-разложения матрицы.
* ''' *M''' - операция перемножения матриц.
* '''Triang''' - операция проверки матрицы на квазитреугольную форму.
* '''Dif''' - операция проверки различия элементов двух матриц не более чем на некоторое заданное число.
* '''Iteri''' - итерация алгоритма

[[Файл:QR_Alg_Base_All.png|center|frame|Рисунок 1. Информационный граф базового QR-алгоритма]]
[[Файл:QR_Alg_Base_Iter.png|center|frame|Рисунок 2. Информационный граф итерации базового QR-алгоритма]]

Подробные графы операций QR-разложения ([[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]], [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]]) и [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|перемножения]] матриц можно найти в статьях, посвященных этим алгоритмам. Далее рассмотрим информационные графы операций '''Triang''' (рис.3) и '''Dif''' (рис.4) на примере матрицы размера <math style="vertical-align:0%">5 \times 5</math>. Графы для других матриц выглядят аналогичным образом.

[[Файл:QR_Alg_Graf_Triang.png|center|frame|Рисунок 3. Информационный граф операции '''Triang''', которая проверяет соответствие квазитреугольной форме]]

Вершины '''V''' соответствуют операции сравнения с 0. Вершины '''F''' соответствуют проверке поддиагональных элементов на соответствие квазитреугольной форме, которая была описана в предыдущем разделе. Вершины '''&''' соответствуют логической операции "И".

[[Файл:QR_Alg_Graf_Dif2.png|center|frame|Рисунок 4. Информационный граф операции '''Dif''', которая проверяет сходимость ненулевых элементов]]

Вершины '''-V''' соответствуют операции вычитания и сравнения с 0. Вершины '''&''' соответствуют логической операции "И".

==== Модифицированный алгоритм ====

На рисунках 5 и 6 изображен информационный граф модифицированного QR-алгоритма. Дополнительные вершины для этого графа обозначают следующее:
* '''Shift''' - операция сдвига
* '''H''' - операция приведения матрицы к форме Хессенберга

[[Файл:QR_Alg_Mod_All.png|center|frame|Рисунок 5. Информационный граф модифицированного QR-алгоритма]]
[[Файл:QR_Alg_Mod_Iter.png|center|frame|Рисунок 6. Информационный граф итерации модифицированного QR-алгоритма]]

=== Ресурс параллелизма алгоритма ===
----
==== Базовый алгоритм ====

На макроуровне (который можно увидеть на информационном графе QR-алгоритма) алгоритм не обладает ресурсами параллелизма. Все макрооперации внутри итерации, а также сами итерации выполняются последовательно (за исключением операций '''Triag''' и '''Dif''', которые могут выполняться параллельно). Основной ресурс параллелизма заложен отдельно в каждой из макроопераций. На каждой итерации алгоритм имеет следующие параллельные характеристики:

# QR-разложение матрицы (описание ресурсов параллелизма для алгоритмов QR-разложения можно найти в статьях, посвященных этим алгоритмам).
#* [[Метод_Хаусхолдера_(отражений)_QR-разложения_квадратной_матрицы,_вещественный_вариант|Метод Хаусхолдера (отражений)]] имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
#* [[Метод_Гивенса_(вращений)_QR-разложения_квадратной_матрицы_(вещественный_вариант)|Метод Гивенса (вращений)]] имеет высоту ярусно-параллельной формы <math>11n-16</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# [[Перемножение_плотных_неособенных_матриц_(последовательный_вещественный_вариант)|Перемножение двух плотных матриц]] имеет высоту ярусно-параллельной формы <math>n</math> и ширину ярусно-параллельной формы <math style="vertical-align:0%">n^2</math>.
# Проверка матрицы на выходе из итерации.
#* Проверка матрицы на квазитреугольную форму состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Для вычисления итогового результата можно использовать метод сдваивания, который дает высоту ярусно-параллельной формы порядка логарифма от количества элементов, над которыми совершается операция. Таким образов высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.
#* Сравнение новой матрицы с предыдущей состоит из одного яруса сравнений для каждого элемента и последующих ярусов, вычисляющих итоговый результат при помощи логической операции "И". Высота ярусно-параллельной формы будет равна <math>O(log_2n)</math>. Ширина ярусно-параллельной формы достигается на ярусе сравнений для каждого элемента и равна <math>O(n^2)</math>.

Таким образом, основной вклад в высоту ярусно-параллельной формы одной итерации вносит операция QR-разложения матрицы и она будет равна <math>O(n)</math>, если использовать метод Гивенса. Ширина ярусно-параллельной формы будет равна <math>O(n^2)</math>. Если алгоритм остановился на итерации с номером <math>N</math>, то параллельные характеристики для всего алгоритма будут равны <math>N*O(n)</math> для высоты и <math>O(n^2)</math> для ширины ярусно-параллельной формы.

==== Модифицированный алгоритм ====

Отличия от базового алгоритма заключаются в следующем:
# Приведение матрицы к форме Хессенберга имеет высоту ярусно-параллельной формы <math>O(n^2)</math> и ширину ярусно-параллельной формы <math>O(n^2)</math>.
# QR-разложение матрицы модифицированным методом Гивенса (вращений) имеет высоту ярусно-параллельной формы <math>O(n)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.
# Операция сдвига (вычитание из диагональных элементов матрицы одного числа) имеет высоту ярусно-параллельной формы <math>O(1)</math> и ширину ярусно-параллельной формы <math>O(n)</math>.

Таким образом, итоговые характеристики всего модифицированного алгоритма будут следующие: высота ярусно-параллельной формы <math>O(n^2)+N*O(n)</math> и ширина ярусно-параллельной формы <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===
----

'''Входные данные''':
:::квадратная вещественная плотная матрица <math>A</math>: <math>A \in \R^{n \times n}</math>.

'''Объем входных данных''':
:::<math>n^2</math> (необходимо хранить все элементы матрицы).

'''Выходные данные''':
:::собственные значения матрицы <math>A</math>.

'''Объем выходных данных''':
:::<math>n</math> (квадратная матрица размера <math>n \times n</math> имеет ровно <math>n</math> собственных значений при этом некоторые из них могут быть комплексными).

=== Свойства алгоритма ===
----
*Cоотношение последовательной и параллельной сложности алгоритма квадратично, что дает довольно большой выигрыш.
*Вычислительная мощность, которая показывает, сколько операций приходится на единицу переданных данных, равна <math>\frac{N*O(n^3)}{n^2+n}=N*O(n)</math>, а значит перемещение данных для их обработки не будет составлять большой проблемы.
*Алгоритм является недетерминированным, т.к. заранее неизвестно сколько итераций необходимо совершить до момента сходимости.
*Скорость сходимости алгоритма зависит от собственных значений. Чем ближе по модулю соседние собственные значения, тем меньше скорость сходимости. Этот недостаток призван решить QR-алгоритм со сдвигами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
----

=== Локальность данных и вычислений ===
----

=== Возможные способы и особенности параллельной реализации алгоритма ===
----

=== Масштабируемость алгоритма и его реализации ===
----
Масштабируемость алгоритма (рис.7) исследовалась на основе реализации алгоритма в библиотеке ScaLAPACK: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr]. Время работы было замерено для различных размеров матрицы, а также различного числа процессоров. Все вычисления были проведены на суперкомпьютере [http://hpc.cs.msu.su/regatta Regatta].

[[Файл:algowiki-project.org/pool/File:QRPerfomance.png|center|frame|Рисунок 7. Масштабируемость QR-алгоритма]]

=== Динамические характеристики и эффективность реализации алгоритма ===
----

=== Выводы для классов архитектур ===
----

=== Существующие реализации алгоритма ===
----

==== Последовательные реализации ====

# LAPACK ([http://netlib.org/lapack/ Linear Algebra PACKage]) — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran с использованием библиотеки [http://www.netlib.org/blas/ BLAS] и является развитием пакета LINPACK. Находится в открытом доступе в соответствии с [http://www.netlib.org/lapack/LICENSE.txt модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/lapack/explore-html/d8/d66/dhseqr_8f_a273e6c6bdb731ed8d6ba3cb060f3f739.html#a273e6c6bdb731ed8d6ba3cb060f3f739 dhseqr].
#* QR-разложение: функция [http://www.netlib.org/lapack/explore-html/dd/d9a/group__double_g_ecomputational_ga3766ea903391b5cf9008132f7440ec7b.html#ga3766ea903391b5cf9008132f7440ec7b dgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/lapack/explore-html/d1/d54/group__double__blas__level3_gaeda3cbd99c8fb834a60a6412878226e1.html#gaeda3cbd99c8fb834a60a6412878226e1 dgemm].
# [http://alglib.sources.ru/ ALGLIB] - это кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). ALGLIB является свободным программным обеспечением, которое использует двойное лицензирование: оно может быть использовано в соответствии с лицензией GPL (версии 2+), а для использования в коммерческих целях необходимо купить отдельную лицензию.
#* Полный алгоритм нахождения собственных значений: подпрограмма [http://alglib.sources.ru/eigen/nonsymmetric/nonsymmetricevd.php RMatrixEVD].
#* QR-разложение: подпрограмма [http://alglib.sources.ru/matrixops/qr.php rmatrixqr] реализует QR-разложение для вещественных матриц, [http://alglib.sources.ru/matrixops/qr.php cmatrixqr] – для комплексных матриц.
#* Перемножение матриц: для перемножения матриц ALGLIB использует соответствующую реализацию библиотеки [http://www.netlib.org/blas/ BLAS].
# [http://eigen.tuxfamily.org/index.php?title=Main_Page Eigen] – библиотека шаблонов для линейной алгебры, написанная на языке C++. Eigen – свободно распространяемое программное обеспечение. Начиная с версии 3.1.1, оно лицензируется MPL2, на ранние версии распространяется действие лицензии LGPL3+.
#* Полный алгоритм нахождения собственных значений: модуль [http://eigen.tuxfamily.org/dox/group__Eigenvalues__Module.html Eigenvalues module].
#* QR-разложение: модуль [http://eigen.tuxfamily.org/dox-devel/group__QR__Module.html QR module].
#* Перемножение матриц: [http://eigen.tuxfamily.org/dox/group__TutorialMatrixArithmetic.html#title5 операторы * и *=].

==== Параллельные реализации ====
# ScaLAPACK ([http://www.netlib.org/scalapack/ Scalable Linear Algebra PACKage]) — библиотека с открытым исходным кодом, включающая в себя подмножество процедур [http://netlib.org/lapack/ LAPACK], переработанных для использования на MPP-компьютерах. ScaLAPACK разработана с использованием PBLAS и BLACS, и предназначена для вычислений на любом компьютере или кластере поддерживающим MPI или PVM. Библиотека в настоящее время написана на языке Fortran. Находится в открытом доступе в соответствии с [http://www.netlib.org/scalapack/LICENSE модифицированной лицензией BSD], в том числе и для коммерческого использования.
#* Полный алгоритм нахождения собственных значений: функция [http://www.netlib.org/scalapack/explore-html/d3/d3a/pdhseqr_8f.html#a2dbf17fffb167fe38d2a0544bb9fd5db pdhseqr].
#* QR-разложение: функция [http://www.netlib.org/scalapack/explore-html/da/d85/pdgeqrf_8f.html#ad48b15b5976e51cbc40a0e1ab2720fa5 pdgeqrf].
#* Перемножение матриц: функция [http://www.netlib.org/scalapack/explore-html/d6/da2/pdgemm___8c.html#a2959b3974ab5e83564517aa1b99d2433 pdgemm].
# PLAPACK ([http://www.cs.utexas.edu/users/plapack/ Parallel Linear Algebra Package]) — пакет функций LAPACK для параллельного решения задач линейной алгебры. Пакет функций PLAPACK является альтернативой библиотеке [http://www.netlib.org/scalapack/ ScaLAPACK]. Для осуществления межпроцессорных коммуникаций в PLAPACK использован интерфейс передачи сообщений MPI. При передаче сообщений в PLAPACK в основном используются коллективные операции, такие, как обобщенная передача данных от одного процесса всем процессам (MPI_Scatter), обобщенная передача данных от всех процессов одному процессу (MPI_Gather), широковещательная рассылка (MPI_Bcast) и другие. PLAPACK включает интерфейсы для языков Fortran и С.
#* QR-разложение: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_QR PLA_QR].
#* Перемножение матриц: функция [http://www.cs.utexas.edu/users/plapack/C_Manual/#PLA_Gemm PLA_Gemm].

== Литература ==

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:40:04Z

Александра Киямова: /* Ресурс параллелизма алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:30:33Z

Александра Киямова: /* Информационный граф */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:29:47Z

Александра Киямова: /* Информационный граф */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:29:02Z

Александра Киямова: /* Информационный граф */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:28:37Z

Александра Киямова: /* Информационный граф */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:19:52Z

Александра Киямова: /* Вещественный вариант QR-алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:19:26Z

Александра Киямова:

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:18:06Z

Александра Киямова: /* Параллельные реализации */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:17:00Z

Александра Киямова: /* Последовательные реализации */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:15:34Z

Александра Киямова: /* Входные и выходные данные алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:14:39Z

Александра Киямова: /* Ресурс параллелизма алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:12:57Z

Александра Киямова: /* Информационный граф */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:12:10Z

Александра Киямова: /* Последовательная сложность алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:11:13Z

Александра Киямова: /* Последовательная сложность алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:10:23Z

Александра Киямова: /* Схема реализации последовательного алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:09:29Z

Александра Киямова: /* Макроструктура алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:09:00Z

Александра Киямова: /* Вычислительное ядро алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:08:22Z

Александра Киямова: /* Вещественный вариант QR-алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:07:37Z

Александра Киямова: /* Сходимость алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:06:40Z

Александра Киямова: /* QR-алгоритм нахождения собственных чисел */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:04:08Z

Александра Киямова: /* QR-разложение матрицы */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:03:01Z

Александра Киямова: /* Общее описание алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:01:51Z

Александра Киямова:

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T16:00:49Z

Александра Киямова: /* Общее описание алгоритма */

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-25T15:58:35Z

Александра Киямова:

Участник:Смирнова Александра/Нахождение собственных чисел квадратной матрицы методом QR разложения (3)

2016-10-15T12:32:12Z

Александра Киямова: /* Последовательная сложность алгоритма */