Алговики - Вклад [ru]

Обсуждение участника:Danyanya

2016-12-07T06:55:48Z

Danyanya: /* Замечания */

== Статья [[Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Отсутствующие части ===
* Не указан вклад каждого из авторов статьи. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:10, 16 ноября 2016 (MSK)

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Графы на рисунках в разделе 1.7 не являются графами алгоритма (граф алгоритма по определению ациклический, вершины соответствуют операторам, дуги - передаче информации между ними); рисунки должны быть пронумерованы. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Если показываете на графе (рис.1) входные и выходные данные, лучше их описать не как "Input" и "Output", а подписать конкретные элементы данных. А на рис.2 почему-то входных и выходных данных нет. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:27, 1 ноября 2016 (MSK)
* В разделе 1.10 должна быть приведена оценка вычислительной сложности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Ошибся в предыдущем замечании - имелась в виду оценка вычислительной мощности. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:24, 1 ноября 2016 (MSK)
* Рис.4 и 5 вставлены в статью крайне неудачно. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не объяснены множественные особенности получившихся графиков. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)

=== Замечания ===
* убрать * в качестве умножения в математических формулах +
* 1.3 хотелось бы подробнее... +
* 1.6 "имеет сложность O(kn^2) и односится к квадратичным алгоритмам" - уточните, а как же "k"? +
* 1.7 - хорошие графы, хотелось бы их словесного описания и, может быть, обсуждения (также чуть уменьшить поле отображения рисунков) +
* 2.4 Сборка: информация "lanczos-mpi.cpp -o lanczos-mpi" совершенно лишняя +
* Рис.4-5 - странные значения на шкале "Cores" +
* хорошо смотрится самостоятельность реализации на С++

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-07T06:55:37Z

Danyanya: /* Информационный граф */

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро на каждой итерации алгоритма Ланцоша состоит в вычислении очередного промежуточного вектора <math>z</math> произведением исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации:
:<math>z = Aq_i</math>

При больших <math>k</math>, сопоставимых с <math>n</math>, к вычислительному ядру можно отнести вычисление собственных значений и собственных векторов трёхдиагональной матрицы. Однако на практике <math>k</math> много меньше <math>n</math>.

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> kn^2 + n(4k + 1) </math> операций умножения;
* <math> k(n^2+3n-2) + n-1</math> операций сложения/вычитания;
* <math> n(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(kn^2) </math> и односится к квадратичным алгоритмам по <math>n</math> при малых <math>k</math>.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|600px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|600px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|600px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

Из информационного графа видно, что паралеллизация алгоритма возможна при выполнении линенйного оператора <math>Ax</math> на каждой итерации алгоритма. Затем необходима синхронизация между процессами.

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k\log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n(n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k(n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k\log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

Программа запускалась на суперкомьютере "Ломоносов" со следующими характеристиками:
* Компилятор GCC 5.2.1;
* Версия MPI 1.8.4;
* Сборка проводилась командой: <pre>mpic++ -std=c++0x -O2 <CPP_FILE> -lm -static-libstdc++</pre>

Полученная эффективность реализации варьируется в пределах от 2% (на маленьких входных данных) до 45% (на больших входных данных и максимальном числе нодов).

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Grigorev_lanczos_eff_no_02.png|thumb|center|600px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с оптимизацией компилятора GCC (-O2).

[[Файл:Grigorev_lanczos_eff_o2.png|thumb|center|600px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI с использованием оптимизации компилятора -O2.]]

Как видно из графиков выше, средняя эффективность минимальна при малых входных данных (на размере матрицы в 10000).
В среднем данный показатель держится между 9% и 14%.

При этом, оптимизация компилятора MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45,5% против 14,7%). Однако, как можно заметить из графиков, при оптимизации алгоритм ведет себя более нестабильно, скорее всего из-за значительной траты времени на работу с памятью (более планые участки свидетельствует о том, что необходимые данные нашлись в кеше).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Обсуждение участника:Danyanya

2016-12-07T06:52:48Z

Danyanya: /* Замечания */

== Статья [[Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Отсутствующие части ===
* Не указан вклад каждого из авторов статьи. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:10, 16 ноября 2016 (MSK)

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Графы на рисунках в разделе 1.7 не являются графами алгоритма (граф алгоритма по определению ациклический, вершины соответствуют операторам, дуги - передаче информации между ними); рисунки должны быть пронумерованы. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Если показываете на графе (рис.1) входные и выходные данные, лучше их описать не как "Input" и "Output", а подписать конкретные элементы данных. А на рис.2 почему-то входных и выходных данных нет. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:27, 1 ноября 2016 (MSK)
* В разделе 1.10 должна быть приведена оценка вычислительной сложности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Ошибся в предыдущем замечании - имелась в виду оценка вычислительной мощности. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:24, 1 ноября 2016 (MSK)
* Рис.4 и 5 вставлены в статью крайне неудачно. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не объяснены множественные особенности получившихся графиков. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)

=== Замечания ===
* убрать * в качестве умножения в математических формулах +
* 1.3 хотелось бы подробнее... +
* 1.6 "имеет сложность O(kn^2) и односится к квадратичным алгоритмам" - уточните, а как же "k"? +
* 1.7 - хорошие графы, хотелось бы их словесного описания и, может быть, обсуждения (также чуть уменьшить поле отображения рисунков)
* 2.4 Сборка: информация "lanczos-mpi.cpp -o lanczos-mpi" совершенно лишняя +
* Рис.4-5 - странные значения на шкале "Cores" +
* хорошо смотрится самостоятельность реализации на С++

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-07T06:52:36Z

Danyanya: /* Последовательная сложность алгоритма */

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро на каждой итерации алгоритма Ланцоша состоит в вычислении очередного промежуточного вектора <math>z</math> произведением исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации:
:<math>z = Aq_i</math>

При больших <math>k</math>, сопоставимых с <math>n</math>, к вычислительному ядру можно отнести вычисление собственных значений и собственных векторов трёхдиагональной матрицы. Однако на практике <math>k</math> много меньше <math>n</math>.

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> kn^2 + n(4k + 1) </math> операций умножения;
* <math> k(n^2+3n-2) + n-1</math> операций сложения/вычитания;
* <math> n(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(kn^2) </math> и односится к квадратичным алгоритмам по <math>n</math> при малых <math>k</math>.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|600px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|600px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|600px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k\log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n(n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k(n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k\log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

Программа запускалась на суперкомьютере "Ломоносов" со следующими характеристиками:
* Компилятор GCC 5.2.1;
* Версия MPI 1.8.4;
* Сборка проводилась командой: <pre>mpic++ -std=c++0x -O2 <CPP_FILE> -lm -static-libstdc++</pre>

Полученная эффективность реализации варьируется в пределах от 2% (на маленьких входных данных) до 45% (на больших входных данных и максимальном числе нодов).

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Grigorev_lanczos_eff_no_02.png|thumb|center|600px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с оптимизацией компилятора GCC (-O2).

[[Файл:Grigorev_lanczos_eff_o2.png|thumb|center|600px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI с использованием оптимизации компилятора -O2.]]

Как видно из графиков выше, средняя эффективность минимальна при малых входных данных (на размере матрицы в 10000).
В среднем данный показатель держится между 9% и 14%.

При этом, оптимизация компилятора MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45,5% против 14,7%). Однако, как можно заметить из графиков, при оптимизации алгоритм ведет себя более нестабильно, скорее всего из-за значительной траты времени на работу с памятью (более планые участки свидетельствует о том, что необходимые данные нашлись в кеше).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Обсуждение участника:Danyanya

2016-11-30T06:35:27Z

Danyanya: /* Замечания */

== Статья [[Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Отсутствующие части ===
* Не указан вклад каждого из авторов статьи. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:10, 16 ноября 2016 (MSK)

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Графы на рисунках в разделе 1.7 не являются графами алгоритма (граф алгоритма по определению ациклический, вершины соответствуют операторам, дуги - передаче информации между ними); рисунки должны быть пронумерованы. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Если показываете на графе (рис.1) входные и выходные данные, лучше их описать не как "Input" и "Output", а подписать конкретные элементы данных. А на рис.2 почему-то входных и выходных данных нет. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:27, 1 ноября 2016 (MSK)
* В разделе 1.10 должна быть приведена оценка вычислительной сложности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Ошибся в предыдущем замечании - имелась в виду оценка вычислительной мощности. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:24, 1 ноября 2016 (MSK)
* Рис.4 и 5 вставлены в статью крайне неудачно. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не объяснены множественные особенности получившихся графиков. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)

=== Замечания ===
* убрать * в качестве умножения в математических формулах +
* 1.3 хотелось бы подробнее... +
* 1.6 "имеет сложность O(kn^2) и односится к квадратичным алгоритмам" - уточните, а как же "k"?
* 1.7 - хорошие графы, хотелось бы их словесного описания и, может быть, обсуждения (также чуть уменьшить поле отображения рисунков)
* 2.4 Сборка: информация "lanczos-mpi.cpp -o lanczos-mpi" совершенно лишняя +
* Рис.4-5 - странные значения на шкале "Cores"
* хорошо смотрится самостоятельность реализации на С++

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-30T06:33:28Z

Danyanya: /* Вычислительное ядро алгоритма */

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро на каждой итерации алгоритма Ланцоша состоит в вычислении очередного промежуточного вектора <math>z</math> произведением исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации:
:<math>z = Aq_i</math>

При больших <math>k</math>, сопоставимых с <math>n</math>, к вычислительному ядру можно отнести вычисление собственных значений и собственных векторов трёхдиагональной матрицы. Однако на практике <math>k</math> много меньше <math>n</math>.

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> kn^2 + n(4k + 1) </math> операций умножения;
* <math> k(n^2+3n-2) + n-1</math> операций сложения/вычитания;
* <math> n(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(kn^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|600px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|600px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|600px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k\log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n(n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k(n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k\log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

Программа запускалась на суперкомьютере "Ломоносов" со следующими характеристиками:
* Компилятор GCC 5.2.1;
* Версия MPI 1.8.4;
* Сборка проводилась командой: <pre>mpic++ -std=c++0x -O2 <CPP_FILE> -lm -static-libstdc++</pre>

Полученная эффективность реализации варьируется в пределах от 2% (на маленьких входных данных) до 45% (на больших входных данных и максимальном числе нодов).

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Danyanya_lanczos_eff_no_02.jpg|thumb|center|600px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с оптимизацией компилятора GCC (-O2).

[[Файл:Danyanya_lanczos_eff_o2.jpg|thumb|center|600px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI с использованием оптимизации компилятора -O2.]]

Как видно из графиков выше, средняя эффективность минимальна при малых входных данных (на размере матрицы в 10000).
В среднем данный показатель держится между 9% и 14%.

При этом, оптимизация компилятора MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45,5% против 14,7%). Однако, как можно заметить из графиков, при оптимизации алгоритм ведет себя более нестабильно, скорее всего из-за значительной траты времени на работу с памятью (более планые участки свидетельствует о том, что необходимые данные нашлись в кеше).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-29T17:18:06Z

Danyanya: /* Информационный граф */

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> kn^2 + n(4k + 1) </math> операций умножения;
* <math> k(n^2+3n-2) + n-1</math> операций сложения/вычитания;
* <math> n(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(kn^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|600px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|600px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|600px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k\log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n(n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k(n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k\log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

Программа запускалась на суперкомьютере "Ломоносов" со следующими характеристиками:
* Компилятор GCC 5.2.1;
* Версия MPI 1.8.4;
* Сборка проводилась командой: <pre>mpic++ -std=c++0x -O2 <CPP_FILE> -lm -static-libstdc++</pre>

Полученная эффективность реализации варьируется в пределах от 2% (на маленьких входных данных) до 45% (на больших входных данных и максимальном числе нодов).

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Danyanya_lanczos_eff_no_02.jpg|thumb|center|600px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с оптимизацией компилятора GCC (-O2).

[[Файл:Danyanya_lanczos_eff_o2.jpg|thumb|center|600px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI с использованием оптимизации компилятора -O2.]]

Как видно из графиков выше, средняя эффективность минимальна при малых входных данных (на размере матрицы в 10000).
В среднем данный показатель держится между 9% и 14%.

При этом, оптимизация компилятора MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45,5% против 14,7%). Однако, как можно заметить из графиков, при оптимизации алгоритм ведет себя более нестабильно, скорее всего из-за значительной траты времени на работу с памятью (более планые участки свидетельствует о том, что необходимые данные нашлись в кеше).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-29T17:15:58Z

Danyanya:

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> kn^2 + n(4k + 1) </math> операций умножения;
* <math> k(n^2+3n-2) + n-1</math> операций сложения/вычитания;
* <math> n(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(kn^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|747px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|880px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k\log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n(n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k(n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k\log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

Программа запускалась на суперкомьютере "Ломоносов" со следующими характеристиками:
* Компилятор GCC 5.2.1;
* Версия MPI 1.8.4;
* Сборка проводилась командой: <pre>mpic++ -std=c++0x -O2 <CPP_FILE> -lm -static-libstdc++</pre>

Полученная эффективность реализации варьируется в пределах от 2% (на маленьких входных данных) до 45% (на больших входных данных и максимальном числе нодов).

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Danyanya_lanczos_eff_no_02.jpg|thumb|center|600px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с оптимизацией компилятора GCC (-O2).

[[Файл:Danyanya_lanczos_eff_o2.jpg|thumb|center|600px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI с использованием оптимизации компилятора -O2.]]

Как видно из графиков выше, средняя эффективность минимальна при малых входных данных (на размере матрицы в 10000).
В среднем данный показатель держится между 9% и 14%.

При этом, оптимизация компилятора MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45,5% против 14,7%). Однако, как можно заметить из графиков, при оптимизации алгоритм ведет себя более нестабильно, скорее всего из-за значительной траты времени на работу с памятью (более планые участки свидетельствует о том, что необходимые данные нашлись в кеше).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Обсуждение участника:Danyanya

2016-11-29T17:15:51Z

Danyanya: /* Замечания */

== Статья [[Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Отсутствующие части ===
* Не указан вклад каждого из авторов статьи. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:10, 16 ноября 2016 (MSK)

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Графы на рисунках в разделе 1.7 не являются графами алгоритма (граф алгоритма по определению ациклический, вершины соответствуют операторам, дуги - передаче информации между ними); рисунки должны быть пронумерованы. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Если показываете на графе (рис.1) входные и выходные данные, лучше их описать не как "Input" и "Output", а подписать конкретные элементы данных. А на рис.2 почему-то входных и выходных данных нет. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:27, 1 ноября 2016 (MSK)
* В разделе 1.10 должна быть приведена оценка вычислительной сложности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Ошибся в предыдущем замечании - имелась в виду оценка вычислительной мощности. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:24, 1 ноября 2016 (MSK)
* Рис.4 и 5 вставлены в статью крайне неудачно. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не объяснены множественные особенности получившихся графиков. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)

=== Замечания ===
* убрать * в качестве умножения в математических формулах +
* 1.3 хотелось бы подробнее...
* 1.6 "имеет сложность O(kn^2) и односится к квадратичным алгоритмам" - уточните, а как же "k"?
* 1.7 - хорошие графы, хотелось бы их словесного описания и, может быть, обсуждения (также чуть уменьшить поле отображения рисунков)
* 2.4 Сборка: информация "lanczos-mpi.cpp -o lanczos-mpi" совершенно лишняя +
* Рис.4-5 - странные значения на шкале "Cores"
* хорошо смотрится самостоятельность реализации на С++

Обсуждение участника:Danyanya

2016-11-29T17:14:09Z

Danyanya: /* Замечания */

== Статья [[Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Отсутствующие части ===
* Не указан вклад каждого из авторов статьи. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:10, 16 ноября 2016 (MSK)

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
* Графы на рисунках в разделе 1.7 не являются графами алгоритма (граф алгоритма по определению ациклический, вершины соответствуют операторам, дуги - передаче информации между ними); рисунки должны быть пронумерованы. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Если показываете на графе (рис.1) входные и выходные данные, лучше их описать не как "Input" и "Output", а подписать конкретные элементы данных. А на рис.2 почему-то входных и выходных данных нет. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:27, 1 ноября 2016 (MSK)
* В разделе 1.10 должна быть приведена оценка вычислительной сложности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:44, 25 октября 2016 (MSK)
** Ошибся в предыдущем замечании - имелась в виду оценка вычислительной мощности. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 11:24, 1 ноября 2016 (MSK)
* Рис.4 и 5 вставлены в статью крайне неудачно. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)
* В разделе 2.4 не объяснены множественные особенности получившихся графиков. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:02, 21 ноября 2016 (MSK)

=== Замечания ===
* убрать * в качестве умножения в математических формулах +
* 1.3 хотелось бы подробнее...
* 1.6 "имеет сложность O(kn^2) и односится к квадратичным алгоритмам" - уточните, а как же "k"?
* 1.7 - хорошие графы, хотелось бы их словесного описания и, может быть, обсуждения (также чуть уменьшить поле отображения рисунков)
* 2.4 Сборка: информация "lanczos-mpi.cpp -o lanczos-mpi" совершенно лишняя
* Рис.4-5 - странные значения на шкале "Cores"
* хорошо смотрится самостоятельность реализации на С++

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-21T19:31:53Z

Danyanya:

{{Assignment}}

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|747px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|880px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

Программа запускалась на суперкомьютере "Ломоносов" со следующими характеристиками:
* Компилятор GCC 5.2.1;
* Версия MPI 1.8.4;
* Сборка проводилась командой: <pre>mpic++ -std=c++0x -O2 lanczos-mpi.cpp -lm -static-libstdc++ -o lanczos-mpi</pre>

Полученная эффективность реализации варьируется в пределах от 2% (на маленьких входных данных) до 45% (на больших входных данных и максимальном числе нодов).

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Danyanya_lanczos_eff_no_02.jpg|thumb|center|600px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с оптимизацией компилятора GCC (-O2).

[[Файл:Danyanya_lanczos_eff_o2.jpg|thumb|center|600px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI с использованием оптимизации компилятора -O2.]]

Как видно из графиков выше, средняя эффективность минимальна при малых входных данных (на размере матрицы в 10000).
В среднем данный показатель держится между 9% и 14%.

При этом, оптимизация компилятора MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45,5% против 14,7%). Однако, как можно заметить из графиков, при оптимизации алгоритм ведет себя более нестабильно, скорее всего из-за значительной траты времени на работу с памятью (более планые участки свидетельствует о том, что необходимые данные нашлись в кеше).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-21T19:31:12Z

Danyanya: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|747px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|880px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

Программа запускалась на суперкомьютере "Ломоносов" со следующими характеристиками:
* Компилятор GCC 5.2.1;
* Версия MPI 1.8.4;
* Сборка проводилась командой: <pre>mpic++ -std=c++0x -O2 lanczos-mpi.cpp -lm -static-libstdc++ -o lanczos-mpi</pre>

Полученная эффективность реализации варьируется в пределах от 2% (на маленьких входных данных) до 45% (на больших входных данных и максимальном числе нодов).

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Danyanya_lanczos_eff_no_02.jpg|thumb|center|600px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с оптимизацией компилятора GCC (-O2).

[[Файл:Danyanya_lanczos_eff_o2.jpg|thumb|center|600px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI с использованием оптимизации компилятора -O2.]]

Как видно из графиков выше, средняя эффективность минимальна при малых входных данных (на размере матрицы в 10000).
В среднем данный показатель держится между 9% и 14%.

При этом, оптимизация компилятора MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45,5% против 14,7%). Однако, как можно заметить из графиков, при оптимизации алгоритм ведет себя более нестабильно, скорее всего из-за значительной траты времени на работу с памятью (более планые участки свидетельствует о том, что необходимые данные нашлись в кеше).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-21T14:30:59Z

Danyanya: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|747px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|880px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

Программа запускалась на суперкомьютере "Ломоносов" со следующими характеристиками:
* Компилятор GCC 5.2.1;
* Версия MPI 1.8.4;
* Сборка проводилась командой: <pre>mpic++ -std=c++0x -O2 lanczos-mpi.cpp -lm -static-libstdc++ -o lanczos-mpi</pre>

Полученная эффективность реализации варьируется в пределах от 2% (на маленьких входных данных) до 45% (на больших входных данных и максимальном числе нодов).

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Danyanya_lanczos_eff_no_02.jpg|thumb|center|600px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с оптимизацией компилятора GCC (-O2).

[[Файл:Danyanya_lanczos_eff_o2.jpg|thumb|center|600px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI с использованием оптимизации компилятора -O2.]]

Как видно из графиков выше, оптимизация компиляра MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45 против 15 процентов).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T22:07:04Z

Danyanya:

{{Assignment}}

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|747px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|880px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

Полученная эффективность реализации варьируется в пределах от 2% (на маленьких входных данных) до 45% (на больших входных данных и максимальном число нодов).

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Danyanya_lanczos_eff_no_02.jpg|thumb|left|574px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]
[[Файл:Danyanya_lanczos_eff_o2.jpg|thumb|right|574px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI с использованием оптимизации компилятора.]]

На рисунке 5 представлена эффективность алгоритма с флагами оптимизации.

Как видно из графиков выше, оптимизация компиляра MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45 против 15 процентов).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T22:02:42Z

Danyanya: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|747px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|880px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

/* Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org]. */

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Danyanya_lanczos_eff_no_02.jpg|thumb|left|574px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]
[[Файл:Danyanya_lanczos_eff_o2.jpg|thumb|right|574px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с флагами оптимизации.

Как видно из графиков выше, оптимизация компиляра MPIC++ позволяет получить выигрыш в эффективности более чем в 3 раза (45 против 15 процентов).

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

----

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T21:51:36Z

Danyanya: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|747px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|880px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

/* Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org]. */

Параметры запуска алгоритма:
* размер матрицы от 20000 до 175000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

На рисунке 4 представлена эффективность программы при отсутствии флага оптимизации O2.

[[Файл:Danyanya_lanczos_eff_no_02.jpg|thumb|left|570px|Рисунок 4. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]
[[Файл:Danyanya_lanczos_eff_o2.jpg|thumb|right|570px|Рисунок 5. Эффективность параллельной реализации алгоритма Ланцоща на MPI.]]

На рисунке 5 представлена эффективность алгоритма с флагами оптимизации.

Как видно из графиков выше, оптимизация - это не пустой звук.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

----

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T21:05:11Z

Danyanya: /* Информационный граф */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|thumb|center|747px|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|880px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 150000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

На рисунке 2.4.1 ...

На рисунке 2.4.2 ...

Как видно из графиков выше,

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

----

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T20:57:35Z

Danyanya:

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.4, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.4, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|800px|thumb|center|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|800px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 150000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

На рисунке 2.4.1 ...

На рисунке 2.4.2 ...

Как видно из графиков выше,

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

----

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T20:56:36Z

Danyanya: /* Существующие реализации алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|800px|thumb|center|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|800px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 150000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

На рисунке 2.4.1 ...

На рисунке 2.4.2 ...

Как видно из графиков выше,

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R). Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

----

Для проверки масшабируемости, алгоритм был реализован на языке C++ с применением MPI [https://github.com/danyanya/ss16-task1].

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T20:54:52Z

Danyanya: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
* Граф линейного оператора.
[[Файл:mgrigoriev2.png|800px|thumb|center|Рисунок 1. Информационный граф алгоритма. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>]]

[[Файл:mgrigoriev3.png|800px|thumb|center|Рисунок 2. Информационный граф линейного оператора <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

[[Файл:mgrigoriev1.png|800px|thumb|center|Рисунок 3. Граф алгоритма с указанием входных и выходных данных. 
<math>\|x\|</math> — вычисление нормы, 
<math>/</math> — операция деления, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>*</math> — операция умножения, 
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2), 
▽ - условие выхода <math>\mathsf{(\beta_i = 0)}</math>, 
<math>\mathsf{A, b, q_0 = 0, \beta_0 = 0}</math> — входные данные, 
<math>\mathsf{\alpha_i, \beta_i}</math> — выходной результат.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масшабируемости алгоритма была написана реализация[https://github.com/danyanya/ss16-task1] на языке C++ с использованием MPI. Реализация была протестирована на суперкомпьютере Ломоносов[http://parallel.ru/cluster/].

Были исследованы:
* время выполнения программы в зависимости от размера входных данных (матрицы);
* время выполнения в зависимости от размера параллельных нод.

Дополнительно было измерено время работы исходя из оптимизационных флагов компилятора GCC [https://gcc.gnu.org].

Параметры запуска алгоритма:
* размер матрицы от 20000 до 150000 с шагом 2500;
* количество процессоров от 8 до 128 с шагом 8.

На рисунке 2.4.1 ...

На рисунке 2.4.2 ...

Как видно из графиков выше,

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-02T06:22:07Z

Danyanya: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>\log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-02T06:21:39Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k * \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-02T06:21:24Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(k*n^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-02T06:01:29Z

Danyanya:

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(k*n^2)</math>
| pf_height = <math>O(k* \log(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n*(n + 1)}{2}</math>
| output_data = <math>k*(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-02T06:00:48Z

Danyanya: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(klog(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k * \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-02T06:00:30Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(klog(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации из последовательной сложности алгоритма <math>\frac{k*(2*n^2+8*n-1)+3*n}{n^2+2*k}</math>. При <math>k</math> много меньше <math>n</math> вычислительная мощность ≈ <math> 2*k</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-02T05:55:17Z

Danyanya: /* Последовательная сложность алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(klog(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Суммарное число операций в алгоритме без учета вычисления собственных значений в трехдиагональной памяти:
* <math> k*n^2 + n * (4 * k + 1) </math> операций умножения;
* <math> k*(n^2+3*n-2) + n-1</math> операций сложения/вычитания;
* <math> n*(k + 1) </math> операций деления;
* <math> k + 1 </math> операций вычислений квадратного корня.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации TODO
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-02T05:52:03Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(klog(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Вычислительная мощность алгоритма Ланцоша без переортогонализации TODO
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T17:31:34Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(klog(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;
* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;
** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;
* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;
* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);
* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;
* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-31T14:57:19Z

Danyanya:

{{Assignment}}
{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(klog(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;

* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;

** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-31T14:56:06Z

Danyanya: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(klog(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Граф алгоритма с отображением входных и выходных данных.
[[Файл:Algorithm graph.png|800px|thumb|center| Рисунок 1. Граф алгоритма с отображением входных и выходных данных.
<math>\|x\|</math> — вычисление нормы,
<math>/</math> — операция деления,
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов,
<math>\cdot</math> — операция умножения,
<math>\mathsf{Ax}</math> — линейный оператор (Рисунок 2),
▽ - условие выхода,
<math>\mathsf{Input}</math> — входные данные,
<math>\mathsf{Output}</math> — выходные результат.]]

* Подграф линейного оператора.

[[Файл:Linear operator.png|800px|thumb|center| Рисунок 2. Подграф алгоритма, описывающий линейный оператор <math>\mathsf{Ax}</math>. <math>+</math>, <math>*</math> - операции сложения и умножения.]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{n * n}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math> [https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k \log n)</math>-ой сложностью по высоте ЯПФ и <math>O(n^2)</math>-ой по ширине ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;

* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;

** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-30T14:29:41Z

Danyanya:

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(klog(n))</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложенийж
** При этом сложение элементов вектора длины <math>n</math> можно выполнить за <math>log(n)</math>[https://algowiki-project.org/ru/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D1%83%D0%BC%D0%BC%D1%8B_%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2%D0%B0_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC];
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает <math>O(k \log n)</math>-ой сложностью по высоте ЯПФ и по ширине ЯПФ <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма <math>O(kn^2)</math>;

* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;

** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-30T14:23:25Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Сложность последовательного алгоритма:

* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>, при классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;

** Таким образом, отношение последовательной сложности к параллельной <math>\frac{kn^2}{k \log{n}}</math>;

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-30T14:04:46Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* По классификации по высоте ЯПФ Алгоритм Ланцоша является алгоритмом со сложностью <math>O(k \log n)</math>;

* По классификации по ширине ЯПФ его сложность <math>O(n^2)</math>;

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-30T14:02:07Z

Danyanya: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор (состоит из умножения вектора на число и сложения векторов);
** скалярное произведение векторов;
** линейная комбинация векторов (сложение/умножение на вещественные числа);
** вычисление нормы (скалярное произведение векторов и вычисление квадратного корня);
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на вектор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма и выходит за рамки описанного алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-30T13:08:59Z

Danyanya: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Исходя из предложенной последовательной реализации метода, макрооперациями в алгоритме являются:

* Процедура итеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

При этом, первая макрооперация (построение трехдиагональной матрицы) выполняется строго последовательно. Единственное, что можно распараллелить - это умножение матрицы на веткор. Однако это операция достаточно легковесная, если оперировать, например, разреженной матрицей.

Вычисление собственных значений полученной матрицы на практике выполняется с помощью QR-алгоритма.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-30T12:41:37Z

Danyanya: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца[https://en.wikipedia.org/wiki/Rayleigh%E2%80%93Ritz_method]. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-30T12:20:06Z

Danyanya:

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]] (1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 2.7), [[Участник:m.grigoriev|М.А.Григорьев]] (1.2, 1.7, 1.8, 1.9, 2.7, 3)

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году <ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающий отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный [[Алгоритм Ланцоша с полной переортогонализацией | алгоритм Ланцоша с полной переортогонализацией]] предложенный в 1970 Ojalvo и Newman<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша <ref>https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша</ref> на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственных значений и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм <ref>Деммель Д. Вычислительная линейная алгебра</ref> на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project <ref>http://www.comp-phys.org/software/ietl/</ref>

2. MatLab <ref>https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554</ref>

3. ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

4. Julia Math <ref>https://github.com/JuliaMath/IterativeSolvers.jl</ref>

Также существуют официальные реализации на других языках (например R).

Что касается встроенной возможности параллелизма - самыми стабильными в этом плане являются ARPACK, а также IETL.

== Литература ==

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T18:52:00Z

Danyanya:

{{Assignment}}
{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

Также существуют официальные реализации на других языках (например R).

Что касается про встроенную возможность параллелизма - самым стабильным в этом плане является ARPACK, а также IETL.

== Литература ==
1. Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).

2. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

3. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T18:51:01Z

Danyanya: /* Существующие реализации алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

Также существуют официальные реализации на других языках (например R).

Что касается про встроенную возможность параллелизма - самым стабильным в этом плане является ARPACK, а также IETL.

== Литература ==
1. Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).

2. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

3. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T18:44:08Z

Danyanya:

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

...

== Литература ==
1. Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).

2. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

3. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T18:39:51Z

Danyanya: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае матрица симметрична)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [https://ru.wikipedia.org/wiki/Биортогонализация_Ланцоша] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

На выходе алгоритма получается собственные векторы и вектор собственных значений матрицы <math>T_k</math>, с помощью которых и будет найдены искомые собственные векторы исходной матрицы <math>A</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

...

== Литература ==
1. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

2. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T18:34:35Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае - симметрическая)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [??] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма (эффект ''ложной сходимости'') присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

...

== Литература ==
1. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

2. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T18:33:22Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае - симметрическая)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [??] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения);

* Из-за использования точной арифметики алгоритм Ланшоца может найти кратные собственные значения, которые на деле оными не являются;

* Нестабильность алгоритма присуще плавающей арифметике, из-за ошибок округления в которой на очередном этапе может быть построен линейно зависимый от исходных новый вектор, что повлечет невозможность дальнейшего приближения собственных значений.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

...

== Литература ==
1. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

2. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T18:25:27Z

Danyanya: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае - симметрическая)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [??] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

* Умножение <math>A^{(n * n)}</math> на вектор длины <math>n</math> требует <math>n</math> ярусов умножений и сложений.
* Остальные операции в рамках итерации выполняются последовательно (вычисление значений векторов может быть выполнено за 1 ярус):
* Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма.

Исходя из вышеизложенного, алгоритм Ланцоша обладает линейной сложностью по ширине ЯПФ и по высоте ЯПФ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

...

== Литература ==
1. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

2. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T18:02:41Z

Danyanya: /* Последовательная сложность алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае - симметрическая)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [??] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланцоша имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

...

== Литература ==
1. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

2. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T18:00:05Z

Danyanya: /* Входные и выходные данные алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае - симметрическая)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [??] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланшоца имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>.

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>.

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>.

'''Объём выходных данных:''' <math>k * (n + 1)</math>.

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

...

== Литература ==
1. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

2. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T17:59:42Z

Danyanya: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики (без переортогонализации)
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:danyanya|Д.Р.Слюсарь]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''' Алгоритм Ланцоша поиска собственных значений ''' был опубликован Корнелием Ланцошем в 1950 году [http://nvlpubs.nist.gov/nistpubs/jres/045/4/V45.N04.A01.pdf]. Этот итерационный алгоритм применим только к эрмитовым матрицам <math>A</math>.
Метод позволяет за <math>k</math> итераций вычислять <math>k</math>-ое приближение собственных значений и собственных векторов исходной матрицы <math>A</math>.

В данной статье рассмотрен упрощенный вариант алгоритма Ланцоша, подразумевающие отсутствие влияния ошибок округления на вычислительный процесс.

Данный алгоритм является неустойчивым, вследствие чего на практике применяется модифицированный алгоритм Ланцоша с полной переортогонализацией.

=== Математическое описание алгоритма ===

На вход алгоритма подается эрмитова матрица <math>A = A^\dagger</math> '' (в вещественном случае - симметрическая)'' ,
{{Шаблон: ASymmetric}}

Алгоритм Ланцоша соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. Иными словами, из оргонормированных векторов Ланцоша [??] на каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>.
В качестве приближенных собственных значений матрицы <math>A</math> берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math>:

<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 & 0 & \dots & 0 \\
\beta_1 & \alpha_2 & \beta_2 & \dots & 0 \\
0 & \beta_2 & \ddots & \ddots & \vdots \\
\vdots & \vdots & \ddots & \ddots & \beta_{k-1} \\
0 & \dots & \dots & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения исходной матрицы <math>A</math> на вектор <math>q_i</math> с предыдущей итерации
:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями в алгоритме являются:

* Процедура иттеративного построения трехдиагональной симметричной матрицы, включающая:
** умножение матрицы на вектор;
** скалярное произведение векторов;
** деление (умножение) вектора на вещественное число;
* Вычисление собственного значение и собственных векторов полученной в ходе работы трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

'''Исходные данные''': симметричная матрица <math>A</math>, случайный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & b/ \|b\|_2,\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& If \; \beta_i == 0 \; then \\
& \; \; \; \; exit\\
& else \\
& \; \; \; \; q_{i+1} = z / \beta_i \\
end \; & for
\end{align}
</math>

''После этого вычисляются собственные значения и собственные вектора симметричной трехдиагональной матрицы <math>T_k</math> наиболее удобным образом.''

=== Последовательная сложность алгоритма ===

Последовательная сложность алгоритма рассчитана на основе приведенной выше реализации алгоритма. Исходя из псевдокода последовательно выполняются следующие операции:
* Умножение квадратной матрицы <math>n * n</math> на вектор длины <math>n</math>. Требует <math>n * n</math> умножений и сложений;
* Скалярное произведение векторов длины <math>n</math>. Требует <math>n</math> умножений и сложений;
* Сложение векторов длины <math>n</math>. Требует <math>n</math> сложений;
* Умножение вектора длины <math>n</math> на скаляр. Требует <math>n</math> умножений;
* Нахождение квадратичной нормы вектора длины <math>n</math>. Требует <math>n</math> умножений и сложений + извлечения квадратного корня;
* Нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>. Наиболее эффективный метод метода «Разделяй-и-властвуй» в среднем требует <math>~O(k^{2.3})</math> операций.

Таким образом, в худшем случае, алгоритм Ланшоца имеет сложность <math> O(k * n^2) </math> и односится к квадратичным алгоритмам.

=== Информационный граф ===

Информационный граф алгоритма можно разбить на две части:
* Общий граф алгоритма, от входа ''IN'' до функции вычислений собственных значений полученной трехдиагональной матрицы (''EIGEN'') (Рис. 1);
[[Файл:Danyanya-lanczos-infopraph-1.png|800px|thumb|center|Общий граф алгоритма. IN - вход, Iter - одна итерация алгоритма, EIGEN - процедура вычисления собственных значений]]

* Подграф на каждой итерации внутри цикла (от ''IN'' до ''NEXT'' в рисунке 2);

[[Файл:Danyanya-lanczos-infopraph-2.png|800px|thumb|center|Подграф алгоритма, описывающий одну итерацию. IN - вход в очедедную итерацию, NEXT - переход к следующей итерации или выход цикла, между ними возможен параллелизм при операциях умножения/сложения, вычитания из q(i) q(i-1)-ого, а также деления нового вектора на норму (полученную в блоке Norm). Красными стрелками показаны переходы в непараллельные секции (переход в NEXT неизбежен, из-за чего помечен зеленым)]]

=== Ресурс параллелизма алгоритма ===

Важно заметить, что итерации алгоритма выполняются строго последовательно, а распараллеливание возможно только внутри итераций.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' симметричная вещественная матрица <math>A</math>, случайный вектор <math>b</math>, число итераций <math>k</math>

'''Объём входных данных:''' <math>n * (n + 1) + 1 </math>

'''Выходные данные:''' вектор собственных значений <math>\Lambda</math>, матрица собственных векторов <math>E</math>

'''Объём выходных данных:''' <math>k * (n + 1)</math>

=== Свойства алгоритма ===

* Алгоритм Ланцоша без переортогонализации не является детерминированным из-за того, что возможно выполнение меньшего числа итераций алгоритма, из-за того, что все собственные значения уже вычислены;

* Также алгоритм Ланцоша быстро сходится при вычислении собственных значений матрицы <math>A</math>, находящихся на границе ее спектра (в <math>T_{j}</math> в первую очередь появляются максимальные по модулю собственные значения).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

TDB next week

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

В настоящее время существует множество реализаций алгоритма Ланцоша итеративного поиска собственных значений, как входящих в официальные дистрибутивы для вычислений (''ARPACK''), так и неофициальных реализаций, выложенных на Github. Среди них:

1. The IETL Project [http://www.comp-phys.org/software/ietl/]

2. MatLab [https://www.mathworks.com/matlabcentral/newsreader/view_thread/10554]

3. ARPACK [http://www.caam.rice.edu/software/ARPACK/]

4. Julia Math [https://github.com/JuliaMath/IterativeSolvers.jl]

...

== Литература ==
1. Алгоритм Ланцоша (Википедия) [https://en.wikipedia.org/wiki/Lanczos_algorithm]

2. Деммель Д. Вычислительная линейная алгебра/Пер. с англ. ХД Икрамова. – 2001.

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T17:47:15Z

Danyanya: /* Информационный граф */

Участник:Danyanya/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T17:28:56Z

Danyanya: /* Последовательная сложность алгоритма */