Алговики - Вклад [ru]

Обсуждение участника:VolkovNikita94

2016-12-21T16:23:47Z

Bashleon: /* Последние замечания */

== Статья [[Участник:VolkovNikita94/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Замечания по тексту ===
* В разделе 1.5 помимо текста программы нужно дать словесные пояснения. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:09, 27 октября 2016 (MSK)
* Подписи к рисунку в разделе 2.4 очень мелкие, почти неразличимые. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:06, 16 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какая версия MKL, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:06, 16 ноября 2016 (MSK)
** Это замечание остаётся. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 13:56, 21 ноября 2016 (MSK)
* В разделе 2.4 не приведена использованная в экспериментах реализация алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:06, 16 ноября 2016 (MSK)
* Рисунки в статье не пронумерованы. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 13:56, 21 ноября 2016 (MSK)
* На рис. в разделе 2.4 по-прежнему очень мелкие подписи. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 13:56, 21 ноября 2016 (MSK)

== Исправления. ==

Поправили замечания, прогнали на большом числе процессоров.

Мой личный комментарий "вне задания": есть довольно любопытная вещь, на которую стоит обратить внимание - небольшие скачки производительности, которые заметны на небольшом числе процессов для небольшого размера задачи. Для большего числа процессов эти скачки полностью не охватываются ( см. линию для 50 процессоров ), но, вероятно, имеют место быть. Какая-никакая, а "характерная особенность", спасибо кэшам ? На 100 процессорах какое-то безумие :)

* для стабильности можно просчитать задачу несколько раз во время одного запуска и сравнить времена (потом взять среднее или минимальное), отличия но 10% должны получиться. А если сравнивать времена различных запуском (когда очередь выделит узлы с другими номерами), то отличие в 30% тоже могут случиться. На заре установки Ломоносова знакомые исследовали это и составили карту скоростей обменов между физическими узлами, а потом даже одсуждали это с производителями. Вроде бы даже у них есть публикации... (ИНК) P.S. Если замеренное время счета получается меньше 1 сек., то лучше запустить задачу в цикле несколько раз подряд.

== Новые замечания ==
* ваша работа дошла до проверяющего только вчера, так что извиняйте за задержку (ИНК)
* везде удрать * как символ математического умножения (в самом крайнем случае можно использовать \cdot)
* в формулах ну очень часто неверно набраны верхние индексы, состоящие более чем из одной буквы. Не забывайте фигурные скобки! (например, стоит набирать K^{-1})
* п.1.5 греческие буквы в обозначениях лучше сделать греческими, добавив \ (например, \alpha, \beta)
* п.1.6 поправить показатель степени "в среднем затрачивается <math>O(k^{2.3})</math> операций"
* п.1.7 "из статей от матрично-векторных операциях" (статьи в Алговики? добавить линк на них)
* п.1.8 "Ланцоща" --> "Ланцоша", "классисифкации" --> "классификации" (безобразие! вы очень торопились при наборе... --> в режиме правки взять всю статью мышкой и поместить в Word чтобы он подчеркнул ошибочно набранные слова, после чего исправить все описки)
* п.2.4 "предметом отдельных статей ( QR-алгоритм, метод «Разделяй-и-властвуй», итерации Арнольди и.т.д. )" (линки на статьи)
* п.2.4 собственная реализация - это хорошо (MPI v.2.2? может стоит упомянуть это? И вообще сказать, что это гибридная MPI+OpenMP реализация. А сейчас модно писать код прямо с *.h файле без *.cpp? Хотя никому не мешает, реализация хорошая...)
* п.2.4 "Максимальная эффективность - 30.76%" малоинформативная фраза если не сказано на скольки ядрах, на одном или 800? Неплохо было бы для тех же данных привести пару-тройку графиков ускорения, для двух-трех размерностей матрицы.
* п.2.7 - замечательно, спасибо
* п.3 стоит занумеровать и сделать настоящие ссылки

Основные замечания поправил, Леонид скоро зальёт графики ускорения и еще подправит 2.4

PS: "модно..." - нет, не модно :) Просто а) программа маленькая и это не мешает, так что нет "против" и б) программа писалась в Visual Studio, где процедура компиляции настроена с отличиями от того, что происходит на кластере; в таком виде при переносе переписывать не нужно вообще ничего, так что есть "за".

-Сделано. Добавил графики ускорения и пояснения к 2.4

== Последние замечания ==
* Очень хорошо! При стремлении к соверщенству осталось сделать самую малость:
* в оставшихся местах (в том числе во врезке) убрать звездочку * в качестве символа умножения
* в п.2.4 конечно сбивает на осях количество узлов вместо количества нитей, непривычно прикидывать эффективность расчетов, но давайте оставим как есть, а для ясности напишем что-то вроде: для 50 проц. наблюдается эффективность более 50%
* в п.2.4 давайте три новых рисунка 4,5,6 объединим в один, тогда будет виднее повышение эффективности с ростом размера задачи, а графики пусть будут даны разным цветов
* P.S. ввиду приближения зачетной сессии я проставляю пометку принятости работы, но буду признателен если вы таки доделаете оставшиеся простые правки... (ИНК)

Спасибо от меня и от Никиты !

- Поправил.
- Добавил в подпись к графику.
- Добавил 4-ый график со сравнительным анализом.

Участник:VolkovNikita94/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-21T16:20:58Z

Bashleon: /* Масштабируемость алгоритма и его реализации */

{{Assignment|ASA|Konshin}}

Авторы статьи : 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:VolkovNikita94 Волков Н. И. ( группа 623 )] - разделы 1.1 , 1.3 , 1.7 , 1.9 , 2.7 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Bashleon Башлыков. Л. А. ( группа 616 )] - разделы 1.2 , 1.4 
Совместно: 1.5 , 1.6 , 1.8 , 1.10 , 2.4

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики ( без переортогонализации )
| serial_complexity = <math>O(n^2) + O(k^3)</math> - на одну итерацию. <math>O(kn^2)</math> - суммарно.
| pf_height = <math>O(n)</math>
| pf_width = <math>O(kn)</math>
| input_data = <math>n^2 + n + 1</math>, при экономии памяти сокращается до <math>\frac{n(n - 1)}{2} + n + 1</math>
| output_data = <math>k</math>, если нужны собственные векторы, то <math>k + kn</math>
}}

==Свойства и структура алгоритма==
===Общее описание алгоритма===

Метод Ланцоша — процедура, применяемая для нахождения <math>k</math> собственных значений симметричной матрицы произвольного размера путём вычисления их приближений. Суть метода заключается в итеративном построении специальной матрицы <math>T_{j}</math>, а затем вычислении её собственных значений и собственных векторов. Общее описание алгоритма можно найти, например, в книге <ref>Деммель Дж. Вычислительная линейная алгебра. Теория и приложения - М.: Мир, 2001. [http://www.bookvoed.ru/book?id=5252274 Ознакомиться]</ref>.

Здесь мы рассмотрим упрощенный вариант алгоритма Ланцоша, который подразумевает отсутствие влияния ошибок округления на вычислительный процесс. На практике используются модификации алгоритма Ланцоша, обладающие устойчивостью и без этого допущения ( например, алгоритм Ланцоша с полной переортогонализацией ).

===Математическое описание алгоритма===

Математическое описание алгоритма Ланцоща для вычисления собственных значений симметричной матрицы А
требует 1) математического описания метода Ланцоща для построения крыловского подпространства и 2)
математического описания т.н. процедуры Рэлея-Ритца.

==== Метод Ланцоща для построения крыловского подпространства ====

Пусть дано уравнение <math>Ax = b</math>, причём вектор <math>b</math> известен и имеется
способ вычисления <math>Ax</math>. 

Вычислим <math>y_{1} = b</math> , <math>y_{2} = Ab</math>, <math>y_{3} = A^{2}b</math>,...,<math>y_{n} = A^{(n - 1)}b</math>, где <math>n</math> -
порядок матрицы <math>A</math>. Определим матрицу <math>K = [y_{1},...,y_{n}]</math>. 

Тогда <math>AK = [Ay_{1},...,Ay_{n - 1}, Ay_{n}] = [y_{2},...,y_{n},A^n{y_{1}}]</math>.
В предположении, что матрица <math>K</math> - невырождена, можно вычислить вектор <math>c = -K^{-1}A^{ny_{1}}</math>.
Поскольку первые <math>n - 1</math> столбцов в <math>AK</math> совпадают с последними <math>n - 1</math> столбцами в
<math>K</math>, то справедливо: <math>AK = K[e_{2},e_{3},...,e_{n},-c] = KC</math>, то есть <math>K^{-1}AK = C</math>, где <math>C</math> - верхняя хессенбергова матрица. 

Заменим <math>K</math> ортогональной матрицей <math>Q</math> так, что при любом <math>k</math>
линейные оболочки первых <math>k</math> столбцов в <math>K</math> и <math>Q</math> - одно и то же
подпространство. Это подпространство называется крыловским и точно определяется как
<math>\kappa_{k}(A, b)</math> - линейная оболочка векторов <math>b</math>,<math>Ab</math>,...,<math>A^{(k - 1)}b</math>.
Суть алгоритма Ланцоша заключается в вычислении стольких первых столбцов в <math>Q</math>,
сколько необходимо для получения требуемого приближения к решению <math>Ax = b </math> (<math>Ax = {\lambda}x</math>).

Используем QR-разложение матрицы <math>K = QQ</math> 
Тогда <math>K^{-1}AK = (R^{-1}Q^{T})A(QR) = C</math>, откуда <math>Q^{T}AQ = RCR^{-1} = H</math> 

Матрица <math>H</math> является верхней хессенберговой в силу того, что верхней хессенберговой
является матрица <math>C</math>, а матрицы <math>R</math> и <math>R^{-1}</math> - верхние треугольные.

Однако алгоритм Ланцоша подразумевает симметричность матрицы <math>A</math>.
Положим <math>Q = [Q_{k}, Q_{u}]</math>, где <math>Q_{k} = [q_{1},...,q_{k}]</math> и
<math>Q_{u} = [q_{k+1},...,q_{n}]</math>. В итоге получается, что <math>H = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>
Из симметричности <math>A</math>, таким образом, следует симметричность и трехдиагональность матрицы <math>H = T</math>.
Теперь можно вывести две основные формулы, используемые в методе Ланцоша:

*<math>AQ_{j} = \beta_{j - 1}q_{j - 1} + \alpha_{j}q_{j} + \beta_{j}q_{j + 1}</math> - получается приравниванием столбцов <math>j</math> в обеих частях равенства <math>AQ = QT</math>.
*<math>q_{j}^{T}Aq_{j} = \alpha_{j}</math> - получается домножением обеих частей предыдущего соотношения на <math>q_{j}^{T}</math> и учетом ортогональности <math>Q</math>.

==== Процедура Рэлея-Ритца ====

Пусть <math>Q = [Q_{k}, Q_{u}]</math> - произвольная ортогональная матрица порядка <math>n</math>, причём
<math>Q_{k}</math> и <math>Q_{u}</math> имеют размеры <math>nk</math> и <math>n(n - k)</math>.

Пусть <math>T = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>. Обратим внимание, что в случае <math>k = 1</math> выражение <math>T_{k} = Q_{k}^{T}AQ_{k}</math> -
отношение Рэлея <math>\rho(Q_{1},A)</math>, то есть число <math>(Q_{1}^{T}AQ_{1}) / (Q_{1}^{T}Q_{1})</math>. Определим теперь суть
процедуры Рэлея-Ритца: 

*Процедура Рэлея-Ритца - интерпретация собственных значений матрицы <math>T = Q^{T}AQ</math> как приближений к собственным значениям матрицы <math>A</math>. Эти приближения называются числами Ритца. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Столбцы матрицы <math>Q_{k}V</math> рассматриваются как приближения к соответствующим собственным векторам и называются векторами Ритца.

Существует несколько важных фактов о процедуре Рэлея-Ритца, характеризующих получаемые приближения собственных значений матрицы <math>A</math>.

*Минимум величины <math>||AQ_{k} - Q_{k}R||_{2}</math> по всем симметричным <math>k^2</math> матрицам <math>R</math> достигается при <math>R = T_{k}</math>. При этом <math>||AQ_{k} - Q_{k}R||_{2} = ||T_{ku}||_{2}</math>. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Минимум величины <math>||AP_{k} - P_{k}D||_{2}</math>, когда <math>P_{k}</math> пробегает множество <math>nk </math> матрицы с ортонормированными столбцами, таких, что <math>span(P_{k}) = span(Q_{k})</math>, а <math>D</math> пробегает множество диагональных <math>k^2</math> матриц также равен <math>||T_{ku}||_{2}</math> и достигается для <math>P_{k} = Q_{k}V</math> и <math>D = \lambda</math>.

Пусть <math>T_{k}</math>, <math>T_{ku}</math>, <math>Q_{k}</math> - те же самые матрицы. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - всё то же спектральное разложение,
причём <math>V = [v_{1},...,v_{k}]</math> - ортогональная матрица, а <math>\lambda = diag(\theta_{1},...,\theta_{k})</math>. Тогда:

* Найдутся <math>k</math> необязательно наибольших собственных значений <math>\alpha_{1},...,\alpha_{k}</math> матрицы <math>A</math>, такие, что <math>|\theta_{i} - \alpha_{i}| <= ||T_{ku}||_{2}</math> для <math>i = 1,...,k</math>. Если <math>Q_{k}</math> вычислена методом Ланцоша,то правая часть этого выражения равняется <math>\beta_{k}</math>, то есть единственному элементу блока <math>T_{ku}</math>, который может быть отличен от нуля. Указанный эдемент находится в правом верхнем углу блока.
* <math>||A(Q_{k}v_{i}) - (Q_{k}v_{i})\theta_{i}||_{2} = ||T_{ku}v_{i}||_{2}</math>. Таким образом, разность между числом Ритца <math>\theta_{j}</math> и некоторым собственным значением <math>\alpha</math> матрицы <math>A</math> не превышает величины <math>||T_{ku}v_{i}||_{2}</math>, которая может быть много меньше, чем <math>||T_{ku}||_{2}</math>. Если матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то эта величина равна <math>\beta_{k}|v_{i}(k)|</math>, где <math>v_{i}(k)</math> - k-ая компонента вектора <math>v_{i}</math>. Таким образом, можно дещево вычислить норму невязки - левой части выражения, не выполняя ни одного умножения вектора на матрицы <math>Q_{k}</math> или <math>A</math>.
* Не имея информации о спектре матрицы <math>T_{u}</math>, нельзя дать какую-либо содержательную оценку для погрешности в векторе Ритца <math>Q_{k}v_{i}</math>. Если известно, что <math>\theta_{j}</math> отделено расстоянием, не меньшим <math>g</math>, от прочих собственных значений матриц <math>T_{k}</math>, <math>T_{u}</math> и матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то угол <math>\theta</math> между <math>Q_{k}v_{i}</math> и точным собственным вектором <math>A</math> можно оценить формулой <math>\frac{1}{2}\sin{2\theta} <= \frac{b_{k}}{g}</math>

В алгоритме Ланцоша из ортонормированных векторов строится матрица <math>Q_{k} = [q_{1},...,q_{k}]</math> и в качестве приближенных собственных значений <math>A</math> принимаются числа Ритца - собственные значения симметричной трёхдиагональной матрицы <math>T_{k} = Q_{k}^{T}AQ_{k}</math>.

===Вычислительное ядро алгоритма===
Вычислительное ядро алгоритма Ланцоща состоит в получении на каждой итерации очередного промежуточного вектора <math>z</math>, получаемого путём умножения исходной матрицы <math>A</math> на вектор Ланцоша <math>q_{j}</math>, полученный на предыдущей итерации.

Также при значениях <math>k</math>, сопоставимых с <math>n</math>, процедура вычисления собственных значений и собственных векторов симметричной трёхдиагональной матрицы по некоторому выбранному алгоритму подразумевает значительный объём расчётов и может считаться вычислительным ядром. Однако на практике метод используется прежде всего при малых <math>k</math>.

===Макроструктура алгоритма===

Метод Ланцоша соединяет метод Ланцоша для построения крыловского подпространства в процедурой Рэлея-Ритца, подразумевающей вычисление собственных значений симметричной трёхдиагональной матрицы. Первая часть алгоритма представляет собой строго последовательные итерации, на каждой из которых вначале строится очередной столбец матрицы <math>Q_{j}</math> из первых <math>j</math> ортонормированных векторов Ланцоша и матрица <math>T_{j} = Q^T_{j}AQ_{j}</math> порядка <math>j</math>. Итерационный процесс завершается, когда <math>j = k</math>. Вторая часть алгоритма представляет собой поиск собственных значений и собственных векторов симметричной трёхдиагональной матрицы <math>T_{j}</math>, что реализуется отдельным алгоритмом, на практике используется QR-алгоритм. 

Особенность методов крыловского подпространства состоит в предположении, что матрица <math>A</math> доступна в виде "черного ящика", а именно подпрограммы, вычисляющей по заданному вектору <math>z</math> произведение <math>y = Az</math> (а также, возможно, произведение <math>y = A^{T}z</math>, если матрица <math>A</math> несимметрична). Другими словами, прямой доступ к элементам матрицы и их изменение не используются, т.к.
*Умножение матрицы на вектор - наиболее дешевая нетривиальная операция, которую можно проделать с разреженной матрицей: в случае разреженной <math>A</math>, содержащей <math>m</math> ненулевых элементов, для матрично-векторного умножения нужны <math>m</math> скалярных умножений и не более <math>m</math> сложений.
*<math>A</math> может быть не представлена в виде матрицы явно, а доступна именно через подпрограмму для вычисления произведений <math>Ax</math>.
Таким образом, как QR-алгоритм поиска собственных значений, собственных векторов матрицы <math>T_{j}</math> и оценки погрешности в них результирующей трехдиагональной матрицы, так и умножение матрицы на вектор внутри каждой итерации могут быть рассмотрены в качестве отдельных макроопераций. Проблемой является то, что именно эти манипуляции порождают основную вычислительную сложность алгоритма. Поскольку матрица, к которой применяется QR-алгоритм, имеет порядок <math>k</math> и на практике бывает мала, сделаем допущение о плотности матрицы <math>A</math>. Тогда умножение этой матрицы на вектор внутри каждой итерации нужно будет реализовывать в рамках самого алгоритма. Еще одним важным замечанием является момент вычисления собственных значений матрицы <math>T_{j}</math>. Её собственные значения, полученные на итерации <math>p</math>, никак не используются на итерации <math>p + 1</math>, поэтому целесообразно вынести эту процедуру за основной цикл. Однако на практике в силу малых размеров матрицы <math>T_{j}</math> вычисление соответствующих величин производится непосредственно в теле основного цикла, что позволяет сразу оценить достигнутую точность вычислений.

===Схема последовательной реализации алгоритма===

Алгоритм итерационный, на каждой итерации выполняется вычисление очередного столбца матрицы <math>Q</math>, а также вычисление элементов очередной пары ( диагонального и околодиагонального ) элементов матрицы <math>T</math> с использованием значений столбца матрицы <math>Q</math>, полученного на предыдущей итерации и значения околодиагонального элемента матрицы <math>T</math> с предыдущей итерации. Вектор <math>z</math> носит вспомогательный характер. Коэффициенты <math>\alpha_{j}</math> соответствуют диагональным элементам матрицы <math>T_{j}</math>, коэффициенты <math>\beta_{j}</math> – наддиагональным и поддиагональным элементам той же матрицы. Далее приводится пример псевдокода. По окончании итераций вычислеяются собственные значения и собственные векторы матрицы <math>T_{j}</math>, что в псевдокоде не отражается ( т.к. это отдельный алгоритм ).

Вычислить столбец q1 матрицы Qk q1 = b / ||b||
q0 - нулевой вектор
beta_0 = 0
foreach (j = 1 .. k )
{
z = A * qj
alpha_j = qj * z
z = z – alpha_j * qj – beta_(j-1) * q(j – 1)
beta_j = ||z||
if ( beta_j == 0 )
{
break // Все ненулевые собственные значения найдены. Выход может быть досрочным.
}
else
{
q(j + 1) = z/beta_j
}
}

Вычислить собственные значения и собственные векторы симметричной трехдиагональной матрицы Tj наиболее подходящим методом.
Полученный вектор Lj есть искомые собственные значения.

===Последовательная сложность алгоритма===
Все дальнейшие выкладки верны для наиболее быстрого последовательного варианта выполнения указываемых операций.
*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> и наоборот требует по <math>n^2</math> умножений и сложений.
*Перемножение векторов длины <math>n</math> требует по <math>n</math> умножений и сложений. 
*Поэлементное сложение векторов длины <math>n</math> требует <math>n</math> сложений.
*Умножение вектора длины <math>n</math> на число требует <math>n</math> умножений.
*Нахождение квадратичной нормы вектора длины <math>n</math> требует по <math>n</math> умножений и сложений, а также одну операцию извлечения квадратного корня.
*Вычисление собственных значений матрицы порядка <math>k</math> QR-алгоритмом требует <math>O(k^2)</math> операций, вычисление также и собственных векторов требует примерно <math>6k ^ 3</math>, то есть <math>O(k^3)</math> операций; при использовании метода «Разделяй-и-властвуй» для вычисления собственных значений и векторов аналогичной матрицы в среднем затрачивается <math>O(k^{2})</math> операций.
Таким образом, для выполнения одной итерации метода Ланцоща требуется 1 операция вычисления квадратного корня, <math>n</math> умножений, а также по <math>n ^ 2 + n + 2n + n</math> сложений и умножений, а также суммарно <math>O(k ^ 3)</math> операций, требуемых для поиска собственных значений и собственных векторов матрицы <math>T_{j}</math>. То есть последовательная сложность алгоритма Ланцоша составляет <math>O(n ^ 2) + O(k ^ 3)</math>. Это, очевидно, меньше, чем <math>O(n ^ 3)</math> операций, требуемых в алгоритмах вычисления всех собственных значений произвольных симметричных матриц, в чём и заключается выгода метода Ланцоша.

===Информационный граф===

Информационный граф алгоритма, определяемый в <ref>Параллельные вычисления (Воеводин В.В., Воеводин Вл.В.) - Спб, изд-во "БХВ-Петербург", 2002 [https://parallel.ru/news/bhv_parallelcomputing.html Ознакомиться]</ref> требует следующего замечания: подразумевается, что, например, умножение квадратной матрицы на вектор распараллеливается на <math>n</math> потоков, где <math>n</math> - порядок матрицы, а не на <math>n\log{n}</math> потоков, чего можно было бы достичь, используя суммирование сдваиванием. Это допущение аналогично допущению из статьи [https://algowiki-project.org/ru/%D0%A3%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%BE%D0%B9_%D0%BD%D0%B5%D0%BE%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BD%D0%B0_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80_(%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82) Умножение матрицы на вектор] и Это же допущение будет использовано и при оценке ресурса параллелизма алгоритма. Приводится граф без отображения входных и выходных данных.

[[File:Volkov Lanzcos 1.png|600px|thumb|center|Рис. 1: Граф алгоритма для матрицы А порядка 5 и k = 3. Op - одна итерация алгоритма, Eigen - процедура вычисления собственных значений]]
[[File:Volkov Lanzcos 2.png|600px|thumb|center|Рис. 2: Внутренний граф итерации алгоритма для матрицы A порядка 5. Vector sum - нахождение суммы элементов вектора-поэлементного произведения векторов z и qj. Op - вычитания из z векторов qj и q(j - 1), домноженных на коэффициенты. Norm - вычисление нормы вектора z.]]

===Ресурс параллелизма алгоритма===
Каждая итерация алгоритма Ланцоша выполняется строго последовательно. Однако внутри итерации возможно распараллеливание алгоритма.

*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> требует последовательного выполнения <math>n</math> ярусов умножений и сложений.
*Все остальные операции в рамках одной итерации, ведущие к вычислению матрицы <math>T_{j}</math> выполняются строго последовательно. При этом вычисление значений векторов может быть выполнено за 1 ярус умножений / сложений, а вычисление чисел - за <math>\log{n}</math> таких операций.
*Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма и рассматривается в соответствующей статье.

Таким образом, при классификации по ширине ЯПФ алгоритм обладает линейной сложностью. В случае классификации по высоте ЯПФ алгоритм также имеет линейную сложность.

===Входные и выходные данные алгоритма===
Входные данные: квадратная матрица <math>A</math> ( элементы <math>a_{ij}</math> ), вектор <math>b</math>, число <math>k</math> 
Объём входных данных: <math>n^2 + n + 1</math> 
Выходные данные: вектор <math>L</math>, матрица <math>E</math> ( элементы <math>e_{pq}</math> ) 
Объём выходных данных: <math>k + kn</math> 

===Свойства алгоритма===
В случае неограниченности ресурсов соотношение последовательной и параллельной сложности алгоритма Ланцоща по сумме всех итераций представляет собой <math>k ^ 3 + kn ^ 2</math> к <math>X + kn</math>, где <math>X</math> - параллельная сложность алгоритма, используемого для вычисления собственных значений. В случае использования метода вычисления собственных значений с линейной сложностью при классисифкации по высоте ЯПФ это соотношение будет равно <math>(k ^ 2 + n ^ 2) / (k + n)</math>.

Алгоритм Ланцоша не является полностью детерминированным в том смысле, что возможно выполнение числа итераций алгоритма, меньшего, чем заданное ( из-за того, что вычислены все ненулевые собственные значения матрицы <math>A</math> ).

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

==Программная реализация алгоритма==
===Особенности реализации последователього алгоритма===
===Локальность данных и вычислений===
===Возможные способы и особенности параллельной реализации алгоритма===
===Масштабируемость алгоритма и его реализации===

Для проверки масштабируемости алгоритма из реализации была исключена непосредственно задача поиска собственных значений матрицы <math>T_{j}</math> на каждой итерации, так как это является предметом отдельных статей ([https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:F-morozov/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%BC_QR_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_(4) QR-алгоритм], метод [https://algowiki-project.org/ru/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%C2%AB%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB%D1%8F%D0%B9_%D0%B8_%D0%B2%D0%BB%D0%B0%D1%81%D1%82%D0%B2%D1%83%D0%B9%C2%BB_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_%D1%81%D0%B8%D0%BC%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%BD%D0%BE%D0%B9_%D1%82%D1%80%D0%B5%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B «Разделяй-и-властвуй»], [https://en.wikipedia.org/wiki/Arnoldi_iteration итерации Арнольди] и.т.д.). Таким образом, проверяемая на масштабируемость задача сводится к итерационному вычислению коэффициентов матрицы <math>T_{j}</math>. Матрица <math>A</math> в рассматриваемой реализации хранится построчно и построчно же разделяется между процессорами. Также в целях исключения влияния недетерминированности алгоритма этот процесс изменен так, что при вычислении всех ненулевых собственных значений матрицы <math>A</math> работа алгоритма продолжается над фиктивными данными, пока не будет завершено заранее заданное число итераций. При этом в реализации используется OpenMP для распараллеливания в пределах одного узла.

[[File:Ланцош_масштабы.png|1000px|thumb|center|Рис. 3: Производительность алгоритма для указанных значений размера задачи и числа MPI процессов (по 4 OpenMP нити каждый). Потенциальная максимальная производительность, которая может быть достигнута - 13.6 GFLOPS на 1 MPI процесс. Тогда, например, эффективность вычислений на 100 процессах при размере задачи 4000<math>{\cdot}</math>4000 составляет приблизительно 14.33%]]

Набор изменяемых параметров запуска реализации алгоритма и границы значений параметров алгоритма:

*Число MPI процессов [1 : 200]
*Число OpenMP нитей [1 : 4] (Запуск с 1 OpenMP нитью производился только для 1 MPI процесса, ускорение замерялось относительно этого запуска).
*Размерность матрицы [400 : 4000]

Эффективность выполнения реализации алгоритма:

*Минимальная эффективность - <1% (неактуально, так как в исследовании достигнут предел масштабируемости алгоритма).
*Максимальная эффективность - ~30% (получается на 2-8 процессов при ~640000 ячеек матрицы на процесс; в случае 8 процессов это входная матрица 1600<math>{\cdot}</math>1600).

Оценка масштабируемости:

*По числу процессов - при увеличении числа процессов эффективность уменьшается на всей области рассмотренных значений, но не слишком интенсивно. Это связано с небольшим объёмом пересылок данных, реализованных через достаточно эффективные операции редукции.
*По размеру задачи - при увеличении размера задачи эффективность вычислений вначале кратковременно возрастает, но затем начинает относительно равномерно убывать на всей рассматриваемой области.
*По двум направлениям - при рассмотрении увеличения, как вычислительной сложности, так и числа процессов по всей рассмотренной области значений наибольшая эффективность наблюдается при соответствии числа процессов и размера задачи. По этой "диагонали" эффективность вначале кратковременно возрастает, затем начинает убывать.

Интересно, что для разного числа процессоров положительные скачки производительности (зачастую - довольно заметные) имеют место на разных объёмах входных данных.

Далее приводятся графики ускорения программы для разных объёмов входных данных. Ускорение считалось относительно варианта с 1 MPI процессом без дальнейшнего распараллеливания посредством OpenMP. На оси абсцисс отмечается число MPI процессов, число OpenMP нитей во всех случаях равно четырём.

[[File:Speedup_2000.png|600px|thumb|center|Рис. 4: Ускорение для размера задачи 2000<math>{\cdot}</math>2000]]
[[File:Speedup_3000.png|600px|thumb|center|Рис. 5: Ускорение для размера задачи 3000<math>{\cdot}</math>3000]]
[[File:Speedup_4000.png|600px|thumb|center|Рис. 6: Ускорение для размера задачи 4000<math>{\cdot}</math>4000]]
[[File:Speedup total.png|600px|thumb|center|Рис. 6: Сравнение ускорения для различных размеров задачи]]

[https://github.com/VolkovNikita94/Lanczos Используемая реализация алгоритма]
Реализация алгоритма гибридная, использует как MPI версии 2.2 (использование MPI_IN_PLACE), так и OpenMP. Указанный код компилировался с помощью компилятора IBM (mpixlcxx_r) с опцией -qsmp=omp (она включает в себя оптимизацию -O2). Реализация алгоритма полностью собственная и не использует встроенные библиотеки. Каждая "quadcore node" - это 1 узел системы BG/P, содержащий 4 микропроцессорных ядра IBM PowerPC 450 c суммарной пиковой производительностью 13.6 GFLOPS на узел и 2 GB общей памяти с пропускной способностью 13.6 GB/sec.

===Динамические характеристики и эффективность реализации алгоритма===
===Выводы для классов архитектур===
===Существующие реализации алгоритма===
Подробный анализ алгоритмов нахождения собственных значений, включая алгоритм Ланцоша, был проведен в <ref>A Survey of Software for Sparse Eigenvalue Problems - V. Hernandez, J. E. Roman, A. Tomas, V. Vidal [http://slepc.upv.es/documentation/reports/str6.pdf Ознакомиться]</ref>. Существует несколько как последовательных, так и параллельных реализаций алгоритма Ланцоша, включенных в программные библиотеки для поиска собственных значений матриц. Свойства этих реализаций можно увидеть в таблицах ниже. Первая таблица — относительно недавние реализации, вторая - «музейные экспонаты». Следует уделить особенное внимание столбцам «тип метода» и «параллелизация». В первом из них значение только N соответствует описанному варианту без реортогонализации, F – полной реортогонализации, P – частичной реортогонализации, S – выборочной реортогонализации. Во втором значние «none» соответствует отсутствию параллельной реализации, M – параллельной реализации посредством MPI, O – параллельной реализации посредством OpenMP. Их приведение целесообразно, так как на практике алгоритм Ланцоша без переортогонализации неустойчив. Также указываются библиотеки, в которых реализованы более глубокие модификации метода Ланцоша, с указанием изменений в графе «тип метода».

{| class="wikitable"
|+Таблица 1 - «современные» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|BLKLAN
|C/Matlab
|2003
|P
|none
|-
|BLZPACK
|F77
|2000, 04/00
|P + S
|M
|-
|IETL
|C++
|2006, 2.2
|N
|none
|-
|SLEPc
|C/F77
|2009, 3.0.0
|All
|M
|-
|TRLAN
|F90
|2006
|Dynamic thick-restart
|M
|-
|PROPACK
|F77/Matlab
|2005, 2.1 / 1.1
|P, finds SVD
|O
|-
|IRBLEIGS
|Matlab
|2000, 1.0
|Indefinitie symmetric
|none
|}

{| class="wikitable"
|+Таблица 2 - «исторические» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|ARPACK
|F77
|1995, 2.1
|Arnoldi iterations, impliicit restart
|M
|-
|ARPACK++
|C++
|1998, 1.1
|Arnoldi iterations, impliicit restart
|none
|-
|LANCZOS
|F77
|1992
|N
|none
|-
|LANZ
|F77
|1991, 1.0
|P
|none
|-
|LASO
|F77
|1983, 2
|S
|none
|-
|NAPACK
|F77
|1987
|N
|none
|-
|QMRPACK
|F77
|1996
|Designed for nonsymmetrical matrices (lookahead)
|none
|-
|SVDPACK
|C/F77
|1992
|P, finds SVD
|none
|-
|Underwood
|F77
|1975
|F, block version
|none
|}

==Литература==

<references \>

Участник:VolkovNikita94/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-21T16:18:35Z

Bashleon: /* Масштабируемость алгоритма и его реализации */

{{Assignment|ASA|Konshin}}

Авторы статьи : 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:VolkovNikita94 Волков Н. И. ( группа 623 )] - разделы 1.1 , 1.3 , 1.7 , 1.9 , 2.7 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Bashleon Башлыков. Л. А. ( группа 616 )] - разделы 1.2 , 1.4 
Совместно: 1.5 , 1.6 , 1.8 , 1.10 , 2.4

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики ( без переортогонализации )
| serial_complexity = <math>O(n^2) + O(k^3)</math> - на одну итерацию. <math>O(kn^2)</math> - суммарно.
| pf_height = <math>O(n)</math>
| pf_width = <math>O(kn)</math>
| input_data = <math>n^2 + n + 1</math>, при экономии памяти сокращается до <math>\frac{n(n - 1)}{2} + n + 1</math>
| output_data = <math>k</math>, если нужны собственные векторы, то <math>k + kn</math>
}}

==Свойства и структура алгоритма==
===Общее описание алгоритма===

Метод Ланцоша — процедура, применяемая для нахождения <math>k</math> собственных значений симметричной матрицы произвольного размера путём вычисления их приближений. Суть метода заключается в итеративном построении специальной матрицы <math>T_{j}</math>, а затем вычислении её собственных значений и собственных векторов. Общее описание алгоритма можно найти, например, в книге <ref>Деммель Дж. Вычислительная линейная алгебра. Теория и приложения - М.: Мир, 2001. [http://www.bookvoed.ru/book?id=5252274 Ознакомиться]</ref>.

Здесь мы рассмотрим упрощенный вариант алгоритма Ланцоша, который подразумевает отсутствие влияния ошибок округления на вычислительный процесс. На практике используются модификации алгоритма Ланцоша, обладающие устойчивостью и без этого допущения ( например, алгоритм Ланцоша с полной переортогонализацией ).

===Математическое описание алгоритма===

Математическое описание алгоритма Ланцоща для вычисления собственных значений симметричной матрицы А
требует 1) математического описания метода Ланцоща для построения крыловского подпространства и 2)
математического описания т.н. процедуры Рэлея-Ритца.

==== Метод Ланцоща для построения крыловского подпространства ====

Пусть дано уравнение <math>Ax = b</math>, причём вектор <math>b</math> известен и имеется
способ вычисления <math>Ax</math>. 

Вычислим <math>y_{1} = b</math> , <math>y_{2} = Ab</math>, <math>y_{3} = A^{2}b</math>,...,<math>y_{n} = A^{(n - 1)}b</math>, где <math>n</math> -
порядок матрицы <math>A</math>. Определим матрицу <math>K = [y_{1},...,y_{n}]</math>. 

Тогда <math>AK = [Ay_{1},...,Ay_{n - 1}, Ay_{n}] = [y_{2},...,y_{n},A^n{y_{1}}]</math>.
В предположении, что матрица <math>K</math> - невырождена, можно вычислить вектор <math>c = -K^{-1}A^{ny_{1}}</math>.
Поскольку первые <math>n - 1</math> столбцов в <math>AK</math> совпадают с последними <math>n - 1</math> столбцами в
<math>K</math>, то справедливо: <math>AK = K[e_{2},e_{3},...,e_{n},-c] = KC</math>, то есть <math>K^{-1}AK = C</math>, где <math>C</math> - верхняя хессенбергова матрица. 

Заменим <math>K</math> ортогональной матрицей <math>Q</math> так, что при любом <math>k</math>
линейные оболочки первых <math>k</math> столбцов в <math>K</math> и <math>Q</math> - одно и то же
подпространство. Это подпространство называется крыловским и точно определяется как
<math>\kappa_{k}(A, b)</math> - линейная оболочка векторов <math>b</math>,<math>Ab</math>,...,<math>A^{(k - 1)}b</math>.
Суть алгоритма Ланцоша заключается в вычислении стольких первых столбцов в <math>Q</math>,
сколько необходимо для получения требуемого приближения к решению <math>Ax = b </math> (<math>Ax = {\lambda}x</math>).

Используем QR-разложение матрицы <math>K = QQ</math> 
Тогда <math>K^{-1}AK = (R^{-1}Q^{T})A(QR) = C</math>, откуда <math>Q^{T}AQ = RCR^{-1} = H</math> 

Матрица <math>H</math> является верхней хессенберговой в силу того, что верхней хессенберговой
является матрица <math>C</math>, а матрицы <math>R</math> и <math>R^{-1}</math> - верхние треугольные.

Однако алгоритм Ланцоша подразумевает симметричность матрицы <math>A</math>.
Положим <math>Q = [Q_{k}, Q_{u}]</math>, где <math>Q_{k} = [q_{1},...,q_{k}]</math> и
<math>Q_{u} = [q_{k+1},...,q_{n}]</math>. В итоге получается, что <math>H = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>
Из симметричности <math>A</math>, таким образом, следует симметричность и трехдиагональность матрицы <math>H = T</math>.
Теперь можно вывести две основные формулы, используемые в методе Ланцоша:

*<math>AQ_{j} = \beta_{j - 1}q_{j - 1} + \alpha_{j}q_{j} + \beta_{j}q_{j + 1}</math> - получается приравниванием столбцов <math>j</math> в обеих частях равенства <math>AQ = QT</math>.
*<math>q_{j}^{T}Aq_{j} = \alpha_{j}</math> - получается домножением обеих частей предыдущего соотношения на <math>q_{j}^{T}</math> и учетом ортогональности <math>Q</math>.

==== Процедура Рэлея-Ритца ====

Пусть <math>Q = [Q_{k}, Q_{u}]</math> - произвольная ортогональная матрица порядка <math>n</math>, причём
<math>Q_{k}</math> и <math>Q_{u}</math> имеют размеры <math>nk</math> и <math>n(n - k)</math>.

Пусть <math>T = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>. Обратим внимание, что в случае <math>k = 1</math> выражение <math>T_{k} = Q_{k}^{T}AQ_{k}</math> -
отношение Рэлея <math>\rho(Q_{1},A)</math>, то есть число <math>(Q_{1}^{T}AQ_{1}) / (Q_{1}^{T}Q_{1})</math>. Определим теперь суть
процедуры Рэлея-Ритца: 

*Процедура Рэлея-Ритца - интерпретация собственных значений матрицы <math>T = Q^{T}AQ</math> как приближений к собственным значениям матрицы <math>A</math>. Эти приближения называются числами Ритца. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Столбцы матрицы <math>Q_{k}V</math> рассматриваются как приближения к соответствующим собственным векторам и называются векторами Ритца.

Существует несколько важных фактов о процедуре Рэлея-Ритца, характеризующих получаемые приближения собственных значений матрицы <math>A</math>.

*Минимум величины <math>||AQ_{k} - Q_{k}R||_{2}</math> по всем симметричным <math>k^2</math> матрицам <math>R</math> достигается при <math>R = T_{k}</math>. При этом <math>||AQ_{k} - Q_{k}R||_{2} = ||T_{ku}||_{2}</math>. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Минимум величины <math>||AP_{k} - P_{k}D||_{2}</math>, когда <math>P_{k}</math> пробегает множество <math>nk </math> матрицы с ортонормированными столбцами, таких, что <math>span(P_{k}) = span(Q_{k})</math>, а <math>D</math> пробегает множество диагональных <math>k^2</math> матриц также равен <math>||T_{ku}||_{2}</math> и достигается для <math>P_{k} = Q_{k}V</math> и <math>D = \lambda</math>.

Пусть <math>T_{k}</math>, <math>T_{ku}</math>, <math>Q_{k}</math> - те же самые матрицы. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - всё то же спектральное разложение,
причём <math>V = [v_{1},...,v_{k}]</math> - ортогональная матрица, а <math>\lambda = diag(\theta_{1},...,\theta_{k})</math>. Тогда:

* Найдутся <math>k</math> необязательно наибольших собственных значений <math>\alpha_{1},...,\alpha_{k}</math> матрицы <math>A</math>, такие, что <math>|\theta_{i} - \alpha_{i}| <= ||T_{ku}||_{2}</math> для <math>i = 1,...,k</math>. Если <math>Q_{k}</math> вычислена методом Ланцоша,то правая часть этого выражения равняется <math>\beta_{k}</math>, то есть единственному элементу блока <math>T_{ku}</math>, который может быть отличен от нуля. Указанный эдемент находится в правом верхнем углу блока.
* <math>||A(Q_{k}v_{i}) - (Q_{k}v_{i})\theta_{i}||_{2} = ||T_{ku}v_{i}||_{2}</math>. Таким образом, разность между числом Ритца <math>\theta_{j}</math> и некоторым собственным значением <math>\alpha</math> матрицы <math>A</math> не превышает величины <math>||T_{ku}v_{i}||_{2}</math>, которая может быть много меньше, чем <math>||T_{ku}||_{2}</math>. Если матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то эта величина равна <math>\beta_{k}|v_{i}(k)|</math>, где <math>v_{i}(k)</math> - k-ая компонента вектора <math>v_{i}</math>. Таким образом, можно дещево вычислить норму невязки - левой части выражения, не выполняя ни одного умножения вектора на матрицы <math>Q_{k}</math> или <math>A</math>.
* Не имея информации о спектре матрицы <math>T_{u}</math>, нельзя дать какую-либо содержательную оценку для погрешности в векторе Ритца <math>Q_{k}v_{i}</math>. Если известно, что <math>\theta_{j}</math> отделено расстоянием, не меньшим <math>g</math>, от прочих собственных значений матриц <math>T_{k}</math>, <math>T_{u}</math> и матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то угол <math>\theta</math> между <math>Q_{k}v_{i}</math> и точным собственным вектором <math>A</math> можно оценить формулой <math>\frac{1}{2}\sin{2\theta} <= \frac{b_{k}}{g}</math>

В алгоритме Ланцоша из ортонормированных векторов строится матрица <math>Q_{k} = [q_{1},...,q_{k}]</math> и в качестве приближенных собственных значений <math>A</math> принимаются числа Ритца - собственные значения симметричной трёхдиагональной матрицы <math>T_{k} = Q_{k}^{T}AQ_{k}</math>.

===Вычислительное ядро алгоритма===
Вычислительное ядро алгоритма Ланцоща состоит в получении на каждой итерации очередного промежуточного вектора <math>z</math>, получаемого путём умножения исходной матрицы <math>A</math> на вектор Ланцоша <math>q_{j}</math>, полученный на предыдущей итерации.

Также при значениях <math>k</math>, сопоставимых с <math>n</math>, процедура вычисления собственных значений и собственных векторов симметричной трёхдиагональной матрицы по некоторому выбранному алгоритму подразумевает значительный объём расчётов и может считаться вычислительным ядром. Однако на практике метод используется прежде всего при малых <math>k</math>.

===Макроструктура алгоритма===

Метод Ланцоша соединяет метод Ланцоша для построения крыловского подпространства в процедурой Рэлея-Ритца, подразумевающей вычисление собственных значений симметричной трёхдиагональной матрицы. Первая часть алгоритма представляет собой строго последовательные итерации, на каждой из которых вначале строится очередной столбец матрицы <math>Q_{j}</math> из первых <math>j</math> ортонормированных векторов Ланцоша и матрица <math>T_{j} = Q^T_{j}AQ_{j}</math> порядка <math>j</math>. Итерационный процесс завершается, когда <math>j = k</math>. Вторая часть алгоритма представляет собой поиск собственных значений и собственных векторов симметричной трёхдиагональной матрицы <math>T_{j}</math>, что реализуется отдельным алгоритмом, на практике используется QR-алгоритм. 

Особенность методов крыловского подпространства состоит в предположении, что матрица <math>A</math> доступна в виде "черного ящика", а именно подпрограммы, вычисляющей по заданному вектору <math>z</math> произведение <math>y = Az</math> (а также, возможно, произведение <math>y = A^{T}z</math>, если матрица <math>A</math> несимметрична). Другими словами, прямой доступ к элементам матрицы и их изменение не используются, т.к.
*Умножение матрицы на вектор - наиболее дешевая нетривиальная операция, которую можно проделать с разреженной матрицей: в случае разреженной <math>A</math>, содержащей <math>m</math> ненулевых элементов, для матрично-векторного умножения нужны <math>m</math> скалярных умножений и не более <math>m</math> сложений.
*<math>A</math> может быть не представлена в виде матрицы явно, а доступна именно через подпрограмму для вычисления произведений <math>Ax</math>.
Таким образом, как QR-алгоритм поиска собственных значений, собственных векторов матрицы <math>T_{j}</math> и оценки погрешности в них результирующей трехдиагональной матрицы, так и умножение матрицы на вектор внутри каждой итерации могут быть рассмотрены в качестве отдельных макроопераций. Проблемой является то, что именно эти манипуляции порождают основную вычислительную сложность алгоритма. Поскольку матрица, к которой применяется QR-алгоритм, имеет порядок <math>k</math> и на практике бывает мала, сделаем допущение о плотности матрицы <math>A</math>. Тогда умножение этой матрицы на вектор внутри каждой итерации нужно будет реализовывать в рамках самого алгоритма. Еще одним важным замечанием является момент вычисления собственных значений матрицы <math>T_{j}</math>. Её собственные значения, полученные на итерации <math>p</math>, никак не используются на итерации <math>p + 1</math>, поэтому целесообразно вынести эту процедуру за основной цикл. Однако на практике в силу малых размеров матрицы <math>T_{j}</math> вычисление соответствующих величин производится непосредственно в теле основного цикла, что позволяет сразу оценить достигнутую точность вычислений.

===Схема последовательной реализации алгоритма===

Алгоритм итерационный, на каждой итерации выполняется вычисление очередного столбца матрицы <math>Q</math>, а также вычисление элементов очередной пары ( диагонального и околодиагонального ) элементов матрицы <math>T</math> с использованием значений столбца матрицы <math>Q</math>, полученного на предыдущей итерации и значения околодиагонального элемента матрицы <math>T</math> с предыдущей итерации. Вектор <math>z</math> носит вспомогательный характер. Коэффициенты <math>\alpha_{j}</math> соответствуют диагональным элементам матрицы <math>T_{j}</math>, коэффициенты <math>\beta_{j}</math> – наддиагональным и поддиагональным элементам той же матрицы. Далее приводится пример псевдокода. По окончании итераций вычислеяются собственные значения и собственные векторы матрицы <math>T_{j}</math>, что в псевдокоде не отражается ( т.к. это отдельный алгоритм ).

Вычислить столбец q1 матрицы Qk q1 = b / ||b||
q0 - нулевой вектор
beta_0 = 0
foreach (j = 1 .. k )
{
z = A * qj
alpha_j = qj * z
z = z – alpha_j * qj – beta_(j-1) * q(j – 1)
beta_j = ||z||
if ( beta_j == 0 )
{
break // Все ненулевые собственные значения найдены. Выход может быть досрочным.
}
else
{
q(j + 1) = z/beta_j
}
}

Вычислить собственные значения и собственные векторы симметричной трехдиагональной матрицы Tj наиболее подходящим методом.
Полученный вектор Lj есть искомые собственные значения.

===Последовательная сложность алгоритма===
Все дальнейшие выкладки верны для наиболее быстрого последовательного варианта выполнения указываемых операций.
*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> и наоборот требует по <math>n^2</math> умножений и сложений.
*Перемножение векторов длины <math>n</math> требует по <math>n</math> умножений и сложений. 
*Поэлементное сложение векторов длины <math>n</math> требует <math>n</math> сложений.
*Умножение вектора длины <math>n</math> на число требует <math>n</math> умножений.
*Нахождение квадратичной нормы вектора длины <math>n</math> требует по <math>n</math> умножений и сложений, а также одну операцию извлечения квадратного корня.
*Вычисление собственных значений матрицы порядка <math>k</math> QR-алгоритмом требует <math>O(k^2)</math> операций, вычисление также и собственных векторов требует примерно <math>6k ^ 3</math>, то есть <math>O(k^3)</math> операций; при использовании метода «Разделяй-и-властвуй» для вычисления собственных значений и векторов аналогичной матрицы в среднем затрачивается <math>O(k^{2})</math> операций.
Таким образом, для выполнения одной итерации метода Ланцоща требуется 1 операция вычисления квадратного корня, <math>n</math> умножений, а также по <math>n ^ 2 + n + 2n + n</math> сложений и умножений, а также суммарно <math>O(k ^ 3)</math> операций, требуемых для поиска собственных значений и собственных векторов матрицы <math>T_{j}</math>. То есть последовательная сложность алгоритма Ланцоша составляет <math>O(n ^ 2) + O(k ^ 3)</math>. Это, очевидно, меньше, чем <math>O(n ^ 3)</math> операций, требуемых в алгоритмах вычисления всех собственных значений произвольных симметричных матриц, в чём и заключается выгода метода Ланцоша.

===Информационный граф===

Информационный граф алгоритма, определяемый в <ref>Параллельные вычисления (Воеводин В.В., Воеводин Вл.В.) - Спб, изд-во "БХВ-Петербург", 2002 [https://parallel.ru/news/bhv_parallelcomputing.html Ознакомиться]</ref> требует следующего замечания: подразумевается, что, например, умножение квадратной матрицы на вектор распараллеливается на <math>n</math> потоков, где <math>n</math> - порядок матрицы, а не на <math>n\log{n}</math> потоков, чего можно было бы достичь, используя суммирование сдваиванием. Это допущение аналогично допущению из статьи [https://algowiki-project.org/ru/%D0%A3%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%BE%D0%B9_%D0%BD%D0%B5%D0%BE%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BD%D0%B0_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80_(%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82) Умножение матрицы на вектор] и Это же допущение будет использовано и при оценке ресурса параллелизма алгоритма. Приводится граф без отображения входных и выходных данных.

[[File:Volkov Lanzcos 1.png|600px|thumb|center|Рис. 1: Граф алгоритма для матрицы А порядка 5 и k = 3. Op - одна итерация алгоритма, Eigen - процедура вычисления собственных значений]]
[[File:Volkov Lanzcos 2.png|600px|thumb|center|Рис. 2: Внутренний граф итерации алгоритма для матрицы A порядка 5. Vector sum - нахождение суммы элементов вектора-поэлементного произведения векторов z и qj. Op - вычитания из z векторов qj и q(j - 1), домноженных на коэффициенты. Norm - вычисление нормы вектора z.]]

===Ресурс параллелизма алгоритма===
Каждая итерация алгоритма Ланцоша выполняется строго последовательно. Однако внутри итерации возможно распараллеливание алгоритма.

*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> требует последовательного выполнения <math>n</math> ярусов умножений и сложений.
*Все остальные операции в рамках одной итерации, ведущие к вычислению матрицы <math>T_{j}</math> выполняются строго последовательно. При этом вычисление значений векторов может быть выполнено за 1 ярус умножений / сложений, а вычисление чисел - за <math>\log{n}</math> таких операций.
*Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма и рассматривается в соответствующей статье.

Таким образом, при классификации по ширине ЯПФ алгоритм обладает линейной сложностью. В случае классификации по высоте ЯПФ алгоритм также имеет линейную сложность.

===Входные и выходные данные алгоритма===
Входные данные: квадратная матрица <math>A</math> ( элементы <math>a_{ij}</math> ), вектор <math>b</math>, число <math>k</math> 
Объём входных данных: <math>n^2 + n + 1</math> 
Выходные данные: вектор <math>L</math>, матрица <math>E</math> ( элементы <math>e_{pq}</math> ) 
Объём выходных данных: <math>k + kn</math> 

===Свойства алгоритма===
В случае неограниченности ресурсов соотношение последовательной и параллельной сложности алгоритма Ланцоща по сумме всех итераций представляет собой <math>k ^ 3 + kn ^ 2</math> к <math>X + kn</math>, где <math>X</math> - параллельная сложность алгоритма, используемого для вычисления собственных значений. В случае использования метода вычисления собственных значений с линейной сложностью при классисифкации по высоте ЯПФ это соотношение будет равно <math>(k ^ 2 + n ^ 2) / (k + n)</math>.

Алгоритм Ланцоша не является полностью детерминированным в том смысле, что возможно выполнение числа итераций алгоритма, меньшего, чем заданное ( из-за того, что вычислены все ненулевые собственные значения матрицы <math>A</math> ).

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

==Программная реализация алгоритма==
===Особенности реализации последователього алгоритма===
===Локальность данных и вычислений===
===Возможные способы и особенности параллельной реализации алгоритма===
===Масштабируемость алгоритма и его реализации===

Для проверки масштабируемости алгоритма из реализации была исключена непосредственно задача поиска собственных значений матрицы <math>T_{j}</math> на каждой итерации, так как это является предметом отдельных статей ([https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:F-morozov/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%BC_QR_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_(4) QR-алгоритм], метод [https://algowiki-project.org/ru/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%C2%AB%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB%D1%8F%D0%B9_%D0%B8_%D0%B2%D0%BB%D0%B0%D1%81%D1%82%D0%B2%D1%83%D0%B9%C2%BB_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_%D1%81%D0%B8%D0%BC%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%BD%D0%BE%D0%B9_%D1%82%D1%80%D0%B5%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B «Разделяй-и-властвуй»], [https://en.wikipedia.org/wiki/Arnoldi_iteration итерации Арнольди] и.т.д.). Таким образом, проверяемая на масштабируемость задача сводится к итерационному вычислению коэффициентов матрицы <math>T_{j}</math>. Матрица <math>A</math> в рассматриваемой реализации хранится построчно и построчно же разделяется между процессорами. Также в целях исключения влияния недетерминированности алгоритма этот процесс изменен так, что при вычислении всех ненулевых собственных значений матрицы <math>A</math> работа алгоритма продолжается над фиктивными данными, пока не будет завершено заранее заданное число итераций. При этом в реализации используется OpenMP для распараллеливания в пределах одного узла.

[[File:Ланцош_масштабы.png|1000px|thumb|center|Рис. 3: Производительность алгоритма для указанных значений размера задачи и числа MPI процессов (по 4 OpenMP нити каждый). Потенциальная максимальная производительность, которая может быть достигнута - 13.6 GFLOPS на 1 MPI процесс. Тогда, например, эффективность вычислений на 200 процессах при размере задачи 4000<math>{\cdot}</math>4000 составляет]]

Набор изменяемых параметров запуска реализации алгоритма и границы значений параметров алгоритма:

*Число MPI процессов [1 : 200]
*Число OpenMP нитей [1 : 4] (Запуск с 1 OpenMP нитью производился только для 1 MPI процесса, ускорение замерялось относительно этого запуска).
*Размерность матрицы [400 : 4000]

Эффективность выполнения реализации алгоритма:

*Минимальная эффективность - <1% (неактуально, так как в исследовании достигнут предел масштабируемости алгоритма).
*Максимальная эффективность - ~30% (получается на 2-8 процессов при ~640000 ячеек матрицы на процесс; в случае 8 процессов это входная матрица 1600<math>{\cdot}</math>1600).

Оценка масштабируемости:

*По числу процессов - при увеличении числа процессов эффективность уменьшается на всей области рассмотренных значений, но не слишком интенсивно. Это связано с небольшим объёмом пересылок данных, реализованных через достаточно эффективные операции редукции.
*По размеру задачи - при увеличении размера задачи эффективность вычислений вначале кратковременно возрастает, но затем начинает относительно равномерно убывать на всей рассматриваемой области.
*По двум направлениям - при рассмотрении увеличения, как вычислительной сложности, так и числа процессов по всей рассмотренной области значений наибольшая эффективность наблюдается при соответствии числа процессов и размера задачи. По этой "диагонали" эффективность вначале кратковременно возрастает, затем начинает убывать.

Интересно, что для разного числа процессоров положительные скачки производительности (зачастую - довольно заметные) имеют место на разных объёмах входных данных.

Далее приводятся графики ускорения программы для разных объёмов входных данных. Ускорение считалось относительно варианта с 1 MPI процессом без дальнейшнего распараллеливания посредством OpenMP. На оси абсцисс отмечается число MPI процессов, число OpenMP нитей во всех случаях равно четырём.

[[File:Speedup_2000.png|600px|thumb|center|Рис. 4: Ускорение для размера задачи 2000<math>{\cdot}</math>2000]]
[[File:Speedup_3000.png|600px|thumb|center|Рис. 5: Ускорение для размера задачи 3000<math>{\cdot}</math>3000]]
[[File:Speedup_4000.png|600px|thumb|center|Рис. 6: Ускорение для размера задачи 4000<math>{\cdot}</math>4000]]
[[File:Speedup total.png|600px|thumb|center|Рис. 6: Сравнение ускорения для различных размеров задачи]]

[https://github.com/VolkovNikita94/Lanczos Используемая реализация алгоритма]
Реализация алгоритма гибридная, использует как MPI версии 2.2 (использование MPI_IN_PLACE), так и OpenMP. Указанный код компилировался с помощью компилятора IBM (mpixlcxx_r) с опцией -qsmp=omp (она включает в себя оптимизацию -O2). Реализация алгоритма полностью собственная и не использует встроенные библиотеки. Каждая "quadcore node" - это 1 узел системы BG/P, содержащий 4 микропроцессорных ядра IBM PowerPC 450 c суммарной пиковой производительностью 13.6 GFLOPS на узел и 2 GB общей памяти с пропускной способностью 13.6 GB/sec.

===Динамические характеристики и эффективность реализации алгоритма===
===Выводы для классов архитектур===
===Существующие реализации алгоритма===
Подробный анализ алгоритмов нахождения собственных значений, включая алгоритм Ланцоша, был проведен в <ref>A Survey of Software for Sparse Eigenvalue Problems - V. Hernandez, J. E. Roman, A. Tomas, V. Vidal [http://slepc.upv.es/documentation/reports/str6.pdf Ознакомиться]</ref>. Существует несколько как последовательных, так и параллельных реализаций алгоритма Ланцоша, включенных в программные библиотеки для поиска собственных значений матриц. Свойства этих реализаций можно увидеть в таблицах ниже. Первая таблица — относительно недавние реализации, вторая - «музейные экспонаты». Следует уделить особенное внимание столбцам «тип метода» и «параллелизация». В первом из них значение только N соответствует описанному варианту без реортогонализации, F – полной реортогонализации, P – частичной реортогонализации, S – выборочной реортогонализации. Во втором значние «none» соответствует отсутствию параллельной реализации, M – параллельной реализации посредством MPI, O – параллельной реализации посредством OpenMP. Их приведение целесообразно, так как на практике алгоритм Ланцоша без переортогонализации неустойчив. Также указываются библиотеки, в которых реализованы более глубокие модификации метода Ланцоша, с указанием изменений в графе «тип метода».

{| class="wikitable"
|+Таблица 1 - «современные» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|BLKLAN
|C/Matlab
|2003
|P
|none
|-
|BLZPACK
|F77
|2000, 04/00
|P + S
|M
|-
|IETL
|C++
|2006, 2.2
|N
|none
|-
|SLEPc
|C/F77
|2009, 3.0.0
|All
|M
|-
|TRLAN
|F90
|2006
|Dynamic thick-restart
|M
|-
|PROPACK
|F77/Matlab
|2005, 2.1 / 1.1
|P, finds SVD
|O
|-
|IRBLEIGS
|Matlab
|2000, 1.0
|Indefinitie symmetric
|none
|}

{| class="wikitable"
|+Таблица 2 - «исторические» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|ARPACK
|F77
|1995, 2.1
|Arnoldi iterations, impliicit restart
|M
|-
|ARPACK++
|C++
|1998, 1.1
|Arnoldi iterations, impliicit restart
|none
|-
|LANCZOS
|F77
|1992
|N
|none
|-
|LANZ
|F77
|1991, 1.0
|P
|none
|-
|LASO
|F77
|1983, 2
|S
|none
|-
|NAPACK
|F77
|1987
|N
|none
|-
|QMRPACK
|F77
|1996
|Designed for nonsymmetrical matrices (lookahead)
|none
|-
|SVDPACK
|C/F77
|1992
|P, finds SVD
|none
|-
|Underwood
|F77
|1975
|F, block version
|none
|}

==Литература==

<references \>

Участник:VolkovNikita94/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-21T16:09:52Z

Bashleon: /* Масштабируемость алгоритма и его реализации */

{{Assignment|ASA|Konshin}}

Авторы статьи : 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:VolkovNikita94 Волков Н. И. ( группа 623 )] - разделы 1.1 , 1.3 , 1.7 , 1.9 , 2.7 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Bashleon Башлыков. Л. А. ( группа 616 )] - разделы 1.2 , 1.4 
Совместно: 1.5 , 1.6 , 1.8 , 1.10 , 2.4

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики ( без переортогонализации )
| serial_complexity = <math>O(n^2) + O(k^3)</math> - на одну итерацию. <math>O(kn^2)</math> - суммарно.
| pf_height = <math>O(n)</math>
| pf_width = <math>O(kn)</math>
| input_data = <math>n^2 + n + 1</math>, при экономии памяти сокращается до <math>\frac{n(n - 1)}{2} + n + 1</math>
| output_data = <math>k</math>, если нужны собственные векторы, то <math>k + kn</math>
}}

==Свойства и структура алгоритма==
===Общее описание алгоритма===

Метод Ланцоша — процедура, применяемая для нахождения <math>k</math> собственных значений симметричной матрицы произвольного размера путём вычисления их приближений. Суть метода заключается в итеративном построении специальной матрицы <math>T_{j}</math>, а затем вычислении её собственных значений и собственных векторов. Общее описание алгоритма можно найти, например, в книге <ref>Деммель Дж. Вычислительная линейная алгебра. Теория и приложения - М.: Мир, 2001. [http://www.bookvoed.ru/book?id=5252274 Ознакомиться]</ref>.

Здесь мы рассмотрим упрощенный вариант алгоритма Ланцоша, который подразумевает отсутствие влияния ошибок округления на вычислительный процесс. На практике используются модификации алгоритма Ланцоша, обладающие устойчивостью и без этого допущения ( например, алгоритм Ланцоша с полной переортогонализацией ).

===Математическое описание алгоритма===

Математическое описание алгоритма Ланцоща для вычисления собственных значений симметричной матрицы А
требует 1) математического описания метода Ланцоща для построения крыловского подпространства и 2)
математического описания т.н. процедуры Рэлея-Ритца.

==== Метод Ланцоща для построения крыловского подпространства ====

Пусть дано уравнение <math>Ax = b</math>, причём вектор <math>b</math> известен и имеется
способ вычисления <math>Ax</math>. 

Вычислим <math>y_{1} = b</math> , <math>y_{2} = Ab</math>, <math>y_{3} = A^{2}b</math>,...,<math>y_{n} = A^{(n - 1)}b</math>, где <math>n</math> -
порядок матрицы <math>A</math>. Определим матрицу <math>K = [y_{1},...,y_{n}]</math>. 

Тогда <math>AK = [Ay_{1},...,Ay_{n - 1}, Ay_{n}] = [y_{2},...,y_{n},A^n{y_{1}}]</math>.
В предположении, что матрица <math>K</math> - невырождена, можно вычислить вектор <math>c = -K^{-1}A^{ny_{1}}</math>.
Поскольку первые <math>n - 1</math> столбцов в <math>AK</math> совпадают с последними <math>n - 1</math> столбцами в
<math>K</math>, то справедливо: <math>AK = K[e_{2},e_{3},...,e_{n},-c] = KC</math>, то есть <math>K^{-1}AK = C</math>, где <math>C</math> - верхняя хессенбергова матрица. 

Заменим <math>K</math> ортогональной матрицей <math>Q</math> так, что при любом <math>k</math>
линейные оболочки первых <math>k</math> столбцов в <math>K</math> и <math>Q</math> - одно и то же
подпространство. Это подпространство называется крыловским и точно определяется как
<math>\kappa_{k}(A, b)</math> - линейная оболочка векторов <math>b</math>,<math>Ab</math>,...,<math>A^{(k - 1)}b</math>.
Суть алгоритма Ланцоша заключается в вычислении стольких первых столбцов в <math>Q</math>,
сколько необходимо для получения требуемого приближения к решению <math>Ax = b </math> (<math>Ax = {\lambda}x</math>).

Используем QR-разложение матрицы <math>K = QQ</math> 
Тогда <math>K^{-1}AK = (R^{-1}Q^{T})A(QR) = C</math>, откуда <math>Q^{T}AQ = RCR^{-1} = H</math> 

Матрица <math>H</math> является верхней хессенберговой в силу того, что верхней хессенберговой
является матрица <math>C</math>, а матрицы <math>R</math> и <math>R^{-1}</math> - верхние треугольные.

Однако алгоритм Ланцоша подразумевает симметричность матрицы <math>A</math>.
Положим <math>Q = [Q_{k}, Q_{u}]</math>, где <math>Q_{k} = [q_{1},...,q_{k}]</math> и
<math>Q_{u} = [q_{k+1},...,q_{n}]</math>. В итоге получается, что <math>H = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>
Из симметричности <math>A</math>, таким образом, следует симметричность и трехдиагональность матрицы <math>H = T</math>.
Теперь можно вывести две основные формулы, используемые в методе Ланцоша:

*<math>AQ_{j} = \beta_{j - 1}q_{j - 1} + \alpha_{j}q_{j} + \beta_{j}q_{j + 1}</math> - получается приравниванием столбцов <math>j</math> в обеих частях равенства <math>AQ = QT</math>.
*<math>q_{j}^{T}Aq_{j} = \alpha_{j}</math> - получается домножением обеих частей предыдущего соотношения на <math>q_{j}^{T}</math> и учетом ортогональности <math>Q</math>.

==== Процедура Рэлея-Ритца ====

Пусть <math>Q = [Q_{k}, Q_{u}]</math> - произвольная ортогональная матрица порядка <math>n</math>, причём
<math>Q_{k}</math> и <math>Q_{u}</math> имеют размеры <math>nk</math> и <math>n(n - k)</math>.

Пусть <math>T = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>. Обратим внимание, что в случае <math>k = 1</math> выражение <math>T_{k} = Q_{k}^{T}AQ_{k}</math> -
отношение Рэлея <math>\rho(Q_{1},A)</math>, то есть число <math>(Q_{1}^{T}AQ_{1}) / (Q_{1}^{T}Q_{1})</math>. Определим теперь суть
процедуры Рэлея-Ритца: 

*Процедура Рэлея-Ритца - интерпретация собственных значений матрицы <math>T = Q^{T}AQ</math> как приближений к собственным значениям матрицы <math>A</math>. Эти приближения называются числами Ритца. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Столбцы матрицы <math>Q_{k}V</math> рассматриваются как приближения к соответствующим собственным векторам и называются векторами Ритца.

Существует несколько важных фактов о процедуре Рэлея-Ритца, характеризующих получаемые приближения собственных значений матрицы <math>A</math>.

*Минимум величины <math>||AQ_{k} - Q_{k}R||_{2}</math> по всем симметричным <math>k^2</math> матрицам <math>R</math> достигается при <math>R = T_{k}</math>. При этом <math>||AQ_{k} - Q_{k}R||_{2} = ||T_{ku}||_{2}</math>. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Минимум величины <math>||AP_{k} - P_{k}D||_{2}</math>, когда <math>P_{k}</math> пробегает множество <math>nk </math> матрицы с ортонормированными столбцами, таких, что <math>span(P_{k}) = span(Q_{k})</math>, а <math>D</math> пробегает множество диагональных <math>k^2</math> матриц также равен <math>||T_{ku}||_{2}</math> и достигается для <math>P_{k} = Q_{k}V</math> и <math>D = \lambda</math>.

Пусть <math>T_{k}</math>, <math>T_{ku}</math>, <math>Q_{k}</math> - те же самые матрицы. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - всё то же спектральное разложение,
причём <math>V = [v_{1},...,v_{k}]</math> - ортогональная матрица, а <math>\lambda = diag(\theta_{1},...,\theta_{k})</math>. Тогда:

* Найдутся <math>k</math> необязательно наибольших собственных значений <math>\alpha_{1},...,\alpha_{k}</math> матрицы <math>A</math>, такие, что <math>|\theta_{i} - \alpha_{i}| <= ||T_{ku}||_{2}</math> для <math>i = 1,...,k</math>. Если <math>Q_{k}</math> вычислена методом Ланцоша,то правая часть этого выражения равняется <math>\beta_{k}</math>, то есть единственному элементу блока <math>T_{ku}</math>, который может быть отличен от нуля. Указанный эдемент находится в правом верхнем углу блока.
* <math>||A(Q_{k}v_{i}) - (Q_{k}v_{i})\theta_{i}||_{2} = ||T_{ku}v_{i}||_{2}</math>. Таким образом, разность между числом Ритца <math>\theta_{j}</math> и некоторым собственным значением <math>\alpha</math> матрицы <math>A</math> не превышает величины <math>||T_{ku}v_{i}||_{2}</math>, которая может быть много меньше, чем <math>||T_{ku}||_{2}</math>. Если матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то эта величина равна <math>\beta_{k}|v_{i}(k)|</math>, где <math>v_{i}(k)</math> - k-ая компонента вектора <math>v_{i}</math>. Таким образом, можно дещево вычислить норму невязки - левой части выражения, не выполняя ни одного умножения вектора на матрицы <math>Q_{k}</math> или <math>A</math>.
* Не имея информации о спектре матрицы <math>T_{u}</math>, нельзя дать какую-либо содержательную оценку для погрешности в векторе Ритца <math>Q_{k}v_{i}</math>. Если известно, что <math>\theta_{j}</math> отделено расстоянием, не меньшим <math>g</math>, от прочих собственных значений матриц <math>T_{k}</math>, <math>T_{u}</math> и матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то угол <math>\theta</math> между <math>Q_{k}v_{i}</math> и точным собственным вектором <math>A</math> можно оценить формулой <math>\frac{1}{2}\sin{2\theta} <= \frac{b_{k}}{g}</math>

В алгоритме Ланцоша из ортонормированных векторов строится матрица <math>Q_{k} = [q_{1},...,q_{k}]</math> и в качестве приближенных собственных значений <math>A</math> принимаются числа Ритца - собственные значения симметричной трёхдиагональной матрицы <math>T_{k} = Q_{k}^{T}AQ_{k}</math>.

===Вычислительное ядро алгоритма===
Вычислительное ядро алгоритма Ланцоща состоит в получении на каждой итерации очередного промежуточного вектора <math>z</math>, получаемого путём умножения исходной матрицы <math>A</math> на вектор Ланцоша <math>q_{j}</math>, полученный на предыдущей итерации.

Также при значениях <math>k</math>, сопоставимых с <math>n</math>, процедура вычисления собственных значений и собственных векторов симметричной трёхдиагональной матрицы по некоторому выбранному алгоритму подразумевает значительный объём расчётов и может считаться вычислительным ядром. Однако на практике метод используется прежде всего при малых <math>k</math>.

===Макроструктура алгоритма===

Метод Ланцоша соединяет метод Ланцоша для построения крыловского подпространства в процедурой Рэлея-Ритца, подразумевающей вычисление собственных значений симметричной трёхдиагональной матрицы. Первая часть алгоритма представляет собой строго последовательные итерации, на каждой из которых вначале строится очередной столбец матрицы <math>Q_{j}</math> из первых <math>j</math> ортонормированных векторов Ланцоша и матрица <math>T_{j} = Q^T_{j}AQ_{j}</math> порядка <math>j</math>. Итерационный процесс завершается, когда <math>j = k</math>. Вторая часть алгоритма представляет собой поиск собственных значений и собственных векторов симметричной трёхдиагональной матрицы <math>T_{j}</math>, что реализуется отдельным алгоритмом, на практике используется QR-алгоритм. 

Особенность методов крыловского подпространства состоит в предположении, что матрица <math>A</math> доступна в виде "черного ящика", а именно подпрограммы, вычисляющей по заданному вектору <math>z</math> произведение <math>y = Az</math> (а также, возможно, произведение <math>y = A^{T}z</math>, если матрица <math>A</math> несимметрична). Другими словами, прямой доступ к элементам матрицы и их изменение не используются, т.к.
*Умножение матрицы на вектор - наиболее дешевая нетривиальная операция, которую можно проделать с разреженной матрицей: в случае разреженной <math>A</math>, содержащей <math>m</math> ненулевых элементов, для матрично-векторного умножения нужны <math>m</math> скалярных умножений и не более <math>m</math> сложений.
*<math>A</math> может быть не представлена в виде матрицы явно, а доступна именно через подпрограмму для вычисления произведений <math>Ax</math>.
Таким образом, как QR-алгоритм поиска собственных значений, собственных векторов матрицы <math>T_{j}</math> и оценки погрешности в них результирующей трехдиагональной матрицы, так и умножение матрицы на вектор внутри каждой итерации могут быть рассмотрены в качестве отдельных макроопераций. Проблемой является то, что именно эти манипуляции порождают основную вычислительную сложность алгоритма. Поскольку матрица, к которой применяется QR-алгоритм, имеет порядок <math>k</math> и на практике бывает мала, сделаем допущение о плотности матрицы <math>A</math>. Тогда умножение этой матрицы на вектор внутри каждой итерации нужно будет реализовывать в рамках самого алгоритма. Еще одним важным замечанием является момент вычисления собственных значений матрицы <math>T_{j}</math>. Её собственные значения, полученные на итерации <math>p</math>, никак не используются на итерации <math>p + 1</math>, поэтому целесообразно вынести эту процедуру за основной цикл. Однако на практике в силу малых размеров матрицы <math>T_{j}</math> вычисление соответствующих величин производится непосредственно в теле основного цикла, что позволяет сразу оценить достигнутую точность вычислений.

===Схема последовательной реализации алгоритма===

Алгоритм итерационный, на каждой итерации выполняется вычисление очередного столбца матрицы <math>Q</math>, а также вычисление элементов очередной пары ( диагонального и околодиагонального ) элементов матрицы <math>T</math> с использованием значений столбца матрицы <math>Q</math>, полученного на предыдущей итерации и значения околодиагонального элемента матрицы <math>T</math> с предыдущей итерации. Вектор <math>z</math> носит вспомогательный характер. Коэффициенты <math>\alpha_{j}</math> соответствуют диагональным элементам матрицы <math>T_{j}</math>, коэффициенты <math>\beta_{j}</math> – наддиагональным и поддиагональным элементам той же матрицы. Далее приводится пример псевдокода. По окончании итераций вычислеяются собственные значения и собственные векторы матрицы <math>T_{j}</math>, что в псевдокоде не отражается ( т.к. это отдельный алгоритм ).

Вычислить столбец q1 матрицы Qk q1 = b / ||b||
q0 - нулевой вектор
beta_0 = 0
foreach (j = 1 .. k )
{
z = A * qj
alpha_j = qj * z
z = z – alpha_j * qj – beta_(j-1) * q(j – 1)
beta_j = ||z||
if ( beta_j == 0 )
{
break // Все ненулевые собственные значения найдены. Выход может быть досрочным.
}
else
{
q(j + 1) = z/beta_j
}
}

Вычислить собственные значения и собственные векторы симметричной трехдиагональной матрицы Tj наиболее подходящим методом.
Полученный вектор Lj есть искомые собственные значения.

===Последовательная сложность алгоритма===
Все дальнейшие выкладки верны для наиболее быстрого последовательного варианта выполнения указываемых операций.
*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> и наоборот требует по <math>n^2</math> умножений и сложений.
*Перемножение векторов длины <math>n</math> требует по <math>n</math> умножений и сложений. 
*Поэлементное сложение векторов длины <math>n</math> требует <math>n</math> сложений.
*Умножение вектора длины <math>n</math> на число требует <math>n</math> умножений.
*Нахождение квадратичной нормы вектора длины <math>n</math> требует по <math>n</math> умножений и сложений, а также одну операцию извлечения квадратного корня.
*Вычисление собственных значений матрицы порядка <math>k</math> QR-алгоритмом требует <math>O(k^2)</math> операций, вычисление также и собственных векторов требует примерно <math>6k ^ 3</math>, то есть <math>O(k^3)</math> операций; при использовании метода «Разделяй-и-властвуй» для вычисления собственных значений и векторов аналогичной матрицы в среднем затрачивается <math>O(k^{2})</math> операций.
Таким образом, для выполнения одной итерации метода Ланцоща требуется 1 операция вычисления квадратного корня, <math>n</math> умножений, а также по <math>n ^ 2 + n + 2n + n</math> сложений и умножений, а также суммарно <math>O(k ^ 3)</math> операций, требуемых для поиска собственных значений и собственных векторов матрицы <math>T_{j}</math>. То есть последовательная сложность алгоритма Ланцоша составляет <math>O(n ^ 2) + O(k ^ 3)</math>. Это, очевидно, меньше, чем <math>O(n ^ 3)</math> операций, требуемых в алгоритмах вычисления всех собственных значений произвольных симметричных матриц, в чём и заключается выгода метода Ланцоша.

===Информационный граф===

Информационный граф алгоритма, определяемый в <ref>Параллельные вычисления (Воеводин В.В., Воеводин Вл.В.) - Спб, изд-во "БХВ-Петербург", 2002 [https://parallel.ru/news/bhv_parallelcomputing.html Ознакомиться]</ref> требует следующего замечания: подразумевается, что, например, умножение квадратной матрицы на вектор распараллеливается на <math>n</math> потоков, где <math>n</math> - порядок матрицы, а не на <math>n\log{n}</math> потоков, чего можно было бы достичь, используя суммирование сдваиванием. Это допущение аналогично допущению из статьи [https://algowiki-project.org/ru/%D0%A3%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%BE%D0%B9_%D0%BD%D0%B5%D0%BE%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BD%D0%B0_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80_(%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82) Умножение матрицы на вектор] и Это же допущение будет использовано и при оценке ресурса параллелизма алгоритма. Приводится граф без отображения входных и выходных данных.

[[File:Volkov Lanzcos 1.png|600px|thumb|center|Рис. 1: Граф алгоритма для матрицы А порядка 5 и k = 3. Op - одна итерация алгоритма, Eigen - процедура вычисления собственных значений]]
[[File:Volkov Lanzcos 2.png|600px|thumb|center|Рис. 2: Внутренний граф итерации алгоритма для матрицы A порядка 5. Vector sum - нахождение суммы элементов вектора-поэлементного произведения векторов z и qj. Op - вычитания из z векторов qj и q(j - 1), домноженных на коэффициенты. Norm - вычисление нормы вектора z.]]

===Ресурс параллелизма алгоритма===
Каждая итерация алгоритма Ланцоша выполняется строго последовательно. Однако внутри итерации возможно распараллеливание алгоритма.

*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> требует последовательного выполнения <math>n</math> ярусов умножений и сложений.
*Все остальные операции в рамках одной итерации, ведущие к вычислению матрицы <math>T_{j}</math> выполняются строго последовательно. При этом вычисление значений векторов может быть выполнено за 1 ярус умножений / сложений, а вычисление чисел - за <math>\log{n}</math> таких операций.
*Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма и рассматривается в соответствующей статье.

Таким образом, при классификации по ширине ЯПФ алгоритм обладает линейной сложностью. В случае классификации по высоте ЯПФ алгоритм также имеет линейную сложность.

===Входные и выходные данные алгоритма===
Входные данные: квадратная матрица <math>A</math> ( элементы <math>a_{ij}</math> ), вектор <math>b</math>, число <math>k</math> 
Объём входных данных: <math>n^2 + n + 1</math> 
Выходные данные: вектор <math>L</math>, матрица <math>E</math> ( элементы <math>e_{pq}</math> ) 
Объём выходных данных: <math>k + kn</math> 

===Свойства алгоритма===
В случае неограниченности ресурсов соотношение последовательной и параллельной сложности алгоритма Ланцоща по сумме всех итераций представляет собой <math>k ^ 3 + kn ^ 2</math> к <math>X + kn</math>, где <math>X</math> - параллельная сложность алгоритма, используемого для вычисления собственных значений. В случае использования метода вычисления собственных значений с линейной сложностью при классисифкации по высоте ЯПФ это соотношение будет равно <math>(k ^ 2 + n ^ 2) / (k + n)</math>.

Алгоритм Ланцоша не является полностью детерминированным в том смысле, что возможно выполнение числа итераций алгоритма, меньшего, чем заданное ( из-за того, что вычислены все ненулевые собственные значения матрицы <math>A</math> ).

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

==Программная реализация алгоритма==
===Особенности реализации последователього алгоритма===
===Локальность данных и вычислений===
===Возможные способы и особенности параллельной реализации алгоритма===
===Масштабируемость алгоритма и его реализации===

Для проверки масштабируемости алгоритма из реализации была исключена непосредственно задача поиска собственных значений матрицы <math>T_{j}</math> на каждой итерации, так как это является предметом отдельных статей ([https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:F-morozov/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%BC_QR_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_(4) QR-алгоритм], метод [https://algowiki-project.org/ru/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%C2%AB%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB%D1%8F%D0%B9_%D0%B8_%D0%B2%D0%BB%D0%B0%D1%81%D1%82%D0%B2%D1%83%D0%B9%C2%BB_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_%D1%81%D0%B8%D0%BC%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%BD%D0%BE%D0%B9_%D1%82%D1%80%D0%B5%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B «Разделяй-и-властвуй»], [https://en.wikipedia.org/wiki/Arnoldi_iteration итерации Арнольди] и.т.д.). Таким образом, проверяемая на масштабируемость задача сводится к итерационному вычислению коэффициентов матрицы <math>T_{j}</math>. Матрица <math>A</math> в рассматриваемой реализации хранится построчно и построчно же разделяется между процессорами. Также в целях исключения влияния недетерминированности алгоритма этот процесс изменен так, что при вычислении всех ненулевых собственных значений матрицы <math>A</math> работа алгоритма продолжается над фиктивными данными, пока не будет завершено заранее заданное число итераций. При этом в реализации используется OpenMP для распараллеливания в пределах одного узла.

[[File:Ланцош_масштабы.png|1000px|thumb|center|Рис. 3: Производительность алгоритма для указанных значений размера задачи и числа процессов]]

Набор изменяемых параметров запуска реализации алгоритма и границы значений параметров алгоритма:

*Число MPI процессов [1 : 200]
*Число OpenMP нитей [1 : 4] (Запуск с 1 OpenMP нитью производился только для 1 MPI процесса, ускорение замерялось относительно этого запуска).
*Размерность матрицы [400 : 4000]

Эффективность выполнения реализации алгоритма:

*Минимальная эффективность - <1% (неактуально, так как в исследовании достигнут предел масштабируемости алгоритма).
*Максимальная эффективность - ~30% (получается на 2-8 процессов при ~640000 ячеек матрицы на процесс; в случае 8 процессов это входная матрица 1600<math>{\cdot}</math>1600).

Оценка масштабируемости:

*По числу процессов - при увеличении числа процессов эффективность уменьшается на всей области рассмотренных значений, но не слишком интенсивно. Это связано с небольшим объёмом пересылок данных, реализованных через достаточно эффективные операции редукции.
*По размеру задачи - при увеличении размера задачи эффективность вычислений вначале кратковременно возрастает, но затем начинает относительно равномерно убывать на всей рассматриваемой области.
*По двум направлениям - при рассмотрении увеличения, как вычислительной сложности, так и числа процессов по всей рассмотренной области значений наибольшая эффективность наблюдается при соответствии числа процессов и размера задачи. По этой "диагонали" эффективность вначале кратковременно возрастает, затем начинает убывать.

Интересно, что для разного числа процессоров положительные скачки производительности (зачастую - довольно заметные) имеют место на разных объёмах входных данных.

Далее приводятся графики ускорения программы для разных объёмов входных данных. Ускорение считалось относительно варианта с 1 MPI процессом без дальнейшнего распараллеливания посредством OpenMP. На оси абсцисс отмечается число MPI процессов, число OpenMP нитей во всех случаях равно четырём.

[[File:Speedup_2000.png|600px|thumb|center|Рис. 4: Ускорение для размера задачи 2000<math>{\cdot}</math>2000]]
[[File:Speedup_3000.png|600px|thumb|center|Рис. 5: Ускорение для размера задачи 3000<math>{\cdot}</math>3000]]
[[File:Speedup_4000.png|600px|thumb|center|Рис. 6: Ускорение для размера задачи 4000<math>{\cdot}</math>4000]]
[[File:Speedup total.png|600px|thumb|center|Рис. 6: Сравнение ускорения для различных размеров задачи]]

[https://github.com/VolkovNikita94/Lanczos Используемая реализация алгоритма]
Реализация алгоритма гибридная, использует как MPI версии 2.2 (использование MPI_IN_PLACE), так и OpenMP. Указанный код компилировался с помощью компилятора IBM (mpixlcxx_r) с опцией -qsmp=omp (она включает в себя оптимизацию -O2). Реализация алгоритма полностью собственная и не использует встроенные библиотеки. Каждая "quadcore node" - это 1 узел системы BG/P, содержащий 4 микропроцессорных ядра IBM PowerPC 450 c суммарной пиковой производительностью 13.6 GFLOPS на узел и 2 GB общей памяти с пропускной способностью 13.6 GB/sec.

===Динамические характеристики и эффективность реализации алгоритма===
===Выводы для классов архитектур===
===Существующие реализации алгоритма===
Подробный анализ алгоритмов нахождения собственных значений, включая алгоритм Ланцоша, был проведен в <ref>A Survey of Software for Sparse Eigenvalue Problems - V. Hernandez, J. E. Roman, A. Tomas, V. Vidal [http://slepc.upv.es/documentation/reports/str6.pdf Ознакомиться]</ref>. Существует несколько как последовательных, так и параллельных реализаций алгоритма Ланцоша, включенных в программные библиотеки для поиска собственных значений матриц. Свойства этих реализаций можно увидеть в таблицах ниже. Первая таблица — относительно недавние реализации, вторая - «музейные экспонаты». Следует уделить особенное внимание столбцам «тип метода» и «параллелизация». В первом из них значение только N соответствует описанному варианту без реортогонализации, F – полной реортогонализации, P – частичной реортогонализации, S – выборочной реортогонализации. Во втором значние «none» соответствует отсутствию параллельной реализации, M – параллельной реализации посредством MPI, O – параллельной реализации посредством OpenMP. Их приведение целесообразно, так как на практике алгоритм Ланцоша без переортогонализации неустойчив. Также указываются библиотеки, в которых реализованы более глубокие модификации метода Ланцоша, с указанием изменений в графе «тип метода».

{| class="wikitable"
|+Таблица 1 - «современные» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|BLKLAN
|C/Matlab
|2003
|P
|none
|-
|BLZPACK
|F77
|2000, 04/00
|P + S
|M
|-
|IETL
|C++
|2006, 2.2
|N
|none
|-
|SLEPc
|C/F77
|2009, 3.0.0
|All
|M
|-
|TRLAN
|F90
|2006
|Dynamic thick-restart
|M
|-
|PROPACK
|F77/Matlab
|2005, 2.1 / 1.1
|P, finds SVD
|O
|-
|IRBLEIGS
|Matlab
|2000, 1.0
|Indefinitie symmetric
|none
|}

{| class="wikitable"
|+Таблица 2 - «исторические» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|ARPACK
|F77
|1995, 2.1
|Arnoldi iterations, impliicit restart
|M
|-
|ARPACK++
|C++
|1998, 1.1
|Arnoldi iterations, impliicit restart
|none
|-
|LANCZOS
|F77
|1992
|N
|none
|-
|LANZ
|F77
|1991, 1.0
|P
|none
|-
|LASO
|F77
|1983, 2
|S
|none
|-
|NAPACK
|F77
|1987
|N
|none
|-
|QMRPACK
|F77
|1996
|Designed for nonsymmetrical matrices (lookahead)
|none
|-
|SVDPACK
|C/F77
|1992
|P, finds SVD
|none
|-
|Underwood
|F77
|1975
|F, block version
|none
|}

==Литература==

<references \>

Обсуждение участника:VolkovNikita94

2016-12-17T07:46:49Z

Bashleon: /* Новые замечания */

Участник:VolkovNikita94/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-17T07:45:19Z

Bashleon: /* Масштабируемость алгоритма и его реализации */

{{Assignment|ASA}}
{{Assignment}}

Авторы статьи : 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:VolkovNikita94 Волков Н. И. ( группа 623 )] - разделы 1.1 , 1.3 , 1.7 , 1.9 , 2.7 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Bashleon Башлыков. Л. А. ( группа 616 )] - разделы 1.2 , 1.4 
Совместно: 1.5 , 1.6 , 1.8 , 1.10 , 2.4

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики ( без переортогонализации )
| serial_complexity = <math>O(n^2) + O(k^3)</math> - на одну итерацию. <math>O(k * n^2)</math> - суммарно.
| pf_height = <math>O(n)</math>
| pf_width = <math>O(k * n)</math>
| input_data = <math>n^2 + n + 1</math>, при экономии памяти сокращается до <math>\frac{n(n - 1)}{2} + n + 1</math>
| output_data = <math>k</math>, если нужны собственные векторы, то <math>k + k * n</math>
}}

==Свойства и структура алгоритма==
===Общее описание алгоритма===

Метод Ланцоша — процедура, применяемая для нахождения <math>k</math> собственных значений симметричной матрицы произвольного размера путём вычисления их приближений. Суть метода заключается в итеративном построении специальной матрицы <math>T_{j}</math>, а затем вычислении её собственных значений и собственных векторов. Общее описание алгоритма можно найти, например, в книге <ref>Деммель Дж. Вычислительная линейная алгебра. Теория и приложения - М.: Мир, 2001. [http://www.bookvoed.ru/book?id=5252274 Ознакомиться]</ref>.

Здесь мы рассмотрим упрощенный вариант алгоритма Ланцоша, который подразумевает отсутствие влияния ошибок округления на вычислительный процесс. На практике используются модификации алгоритма Ланцоша, обладающие устойчивостью и без этого допущения ( например, алгоритм Ланцоша с полной переортогонализацией ).

===Математическое описание алгоритма===

Математическое описание алгоритма Ланцоща для вычисления собственных значений симметричной матрицы А
требует 1) математического описания метода Ланцоща для построения крыловского подпространства и 2)
математического описания т.н. процедуры Рэлея-Ритца.

==== Метод Ланцоща для построения крыловского подпространства ====

Пусть дано уравнение <math>Ax = b</math>, причём вектор <math>b</math> известен и имеется
способ вычисления <math>Ax</math>. 

Вычислим <math>y_{1} = b</math> , <math>y_{2} = Ab</math>, <math>y_{3} = A^{2}b</math>,...,<math>y_{n} = A^{(n - 1)}b</math>, где <math>n</math> -
порядок матрицы <math>A</math>. Определим матрицу <math>K = [y_{1},...,y_{n}]</math>. 

Тогда <math>AK = [Ay_{1},...,Ay_{n - 1}, Ay_{n}] = [y_{2},...,y_{n},A^n{y_{1}}]</math>.
В предположении, что матрица <math>K</math> - невырождена, можно вычислить вектор <math>c = -K^{-1}A^{ny_{1}}</math>.
Поскольку первые <math>n - 1</math> столбцов в <math>AK</math> совпадают с последними <math>n - 1</math> столбцами в
<math>K</math>, то справедливо: <math>AK = K[e_{2},e_{3},...,e_{n},-c] = KC</math>, то есть <math>K^{-1}AK = C</math>, где <math>C</math> - верхняя хессенбергова матрица. 

Заменим <math>K</math> ортогональной матрицей <math>Q</math> так, что при любом <math>k</math>
линейные оболочки первых <math>k</math> столбцов в <math>K</math> и <math>Q</math> - одно и то же
подпространство. Это подпространство называется крыловским и точно определяется как
<math>\kappa_{k}(A, b)</math> - линейная оболочка векторов <math>b</math>,<math>Ab</math>,...,<math>A^{(k - 1)}b</math>.
Суть алгоритма Ланцоша заключается в вычислении стольких первых столбцов в <math>Q</math>,
сколько необходимо для получения требуемого приближения к решению <math>Ax = b </math> (<math>Ax = {\lambda}x</math>).

Используем QR-разложение матрицы <math>K = QQ</math> 
Тогда <math>K^{-1}AK = (R^{-1}Q^{T})A(QR) = C</math>, откуда <math>Q^{T}AQ = RCR^{-1} = H</math> 

Матрица <math>H</math> является верхней хессенберговой в силу того, что верхней хессенберговой
является матрица <math>C</math>, а матрицы <math>R</math> и <math>R^{-1}</math> - верхние треугольные.

Однако алгоритм Ланцоша подразумевает симметричность матрицы <math>A</math>.
Положим <math>Q = [Q_{k}, Q_{u}]</math>, где <math>Q_{k} = [q_{1},...,q_{k}]</math> и
<math>Q_{u} = [q_{k+1},...,q_{n}]</math>. В итоге получается, что <math>H = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>
Из симметричности <math>A</math>, таким образом, следует симметричность и трехдиагональность матрицы <math>H = T</math>.
Теперь можно вывести две основные формулы, используемые в методе Ланцоша:

*<math>AQ_{j} = \beta_{j - 1}q_{j - 1} + \alpha_{j}q_{j} + \beta_{j}q_{j + 1}</math> - получается приравниванием столбцов <math>j</math> в обеих частях равенства <math>AQ = QT</math>.
*<math>q_{j}^{T}Aq_{j} = \alpha_{j}</math> - получается домножением обеих частей предыдущего соотношения на <math>q_{j}^{T}</math> и учетом ортогональности <math>Q</math>.

==== Процедура Рэлея-Ритца ====

Пусть <math>Q = [Q_{k}, Q_{u}]</math> - произвольная ортогональная матрица порядка <math>n</math>, причём
<math>Q_{k}</math> и <math>Q_{u}</math> имеют размеры <math>nk</math> и <math>n(n - k)</math>.

Пусть <math>T = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>. Обратим внимание, что в случае <math>k = 1</math> выражение <math>T_{k} = Q_{k}^{T}AQ_{k}</math> -
отношение Рэлея <math>\rho(Q_{1},A)</math>, то есть число <math>(Q_{1}^{T}AQ_{1}) / (Q_{1}^{T}Q_{1})</math>. Определим теперь суть
процедуры Рэлея-Ритца: 

*Процедура Рэлея-Ритца - интерпретация собственных значений матрицы <math>T = Q^{T}AQ</math> как приближений к собственным значениям матрицы <math>A</math>. Эти приближения называются числами Ритца. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Столбцы матрицы <math>Q_{k}V</math> рассматриваются как приближения к соответствующим собственным векторам и называются векторами Ритца.

Существует несколько важных фактов о процедуре Рэлея-Ритца, характеризующих получаемые приближения собственных значений матрицы <math>A</math>.

*Минимум величины <math>||AQ_{k} - Q_{k}R||_{2}</math> по всем симметричным <math>k^2</math> матрицам <math>R</math> достигается при <math>R = T_{k}</math>. При этом <math>||AQ_{k} - Q_{k}R||_{2} = ||T_{ku}||_{2}</math>. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Минимум величины <math>||AP_{k} - P_{k}D||_{2}</math>, когда <math>P_{k}</math> пробегает множество <math>nk </math> матрицы с ортонормированными столбцами, таких, что <math>span(P_{k}) = span(Q_{k})</math>, а <math>D</math> пробегает множество диагональных <math>k^2</math> матриц также равен <math>||T_{ku}||_{2}</math> и достигается для <math>P_{k} = Q_{k}V</math> и <math>D = \lambda</math>.

Пусть <math>T_{k}</math>, <math>T_{ku}</math>, <math>Q_{k}</math> - те же самые матрицы. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - всё то же спектральное разложение,
причём <math>V = [v_{1},...,v_{k}]</math> - ортогональная матрица, а <math>\lambda = diag(\theta_{1},...,\theta_{k})</math>. Тогда:

* Найдутся <math>k</math> необязательно наибольших собственных значений <math>\alpha_{1},...,\alpha_{k}</math> матрицы <math>A</math>, такие, что <math>|\theta_{i} - \alpha_{i}| <= ||T_{ku}||_{2}</math> для <math>i = 1,...,k</math>. Если <math>Q_{k}</math> вычислена методом Ланцоша,то правая часть этого выражения равняется <math>\beta_{k}</math>, то есть единственному элементу блока <math>T_{ku}</math>, который может быть отличен от нуля. Указанный эдемент находится в правом верхнем углу блока.
* <math>||A(Q_{k}v_{i}) - (Q_{k}v_{i})\theta_{i}||_{2} = ||T_{ku}v_{i}||_{2}</math>. Таким образом, разность между числом Ритца <math>\theta_{j}</math> и некоторым собственным значением <math>\alpha</math> матрицы <math>A</math> не превышает величины <math>||T_{ku}v_{i}||_{2}</math>, которая может быть много меньше, чем <math>||T_{ku}||_{2}</math>. Если матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то эта величина равна <math>\beta_{k}|v_{i}(k)|</math>, где <math>v_{i}(k)</math> - k-ая компонента вектора <math>v_{i}</math>. Таким образом, можно дещево вычислить норму невязки - левой части выражения, не выполняя ни одного умножения вектора на матрицы <math>Q_{k}</math> или <math>A</math>.
* Не имея информации о спектре матрицы <math>T_{u}</math>, нельзя дать какую-либо содержательную оценку для погрешности в векторе Ритца <math>Q_{k}v_{i}</math>. Если известно, что <math>\theta_{j}</math> отделено расстоянием, не меньшим <math>g</math>, от прочих собственных значений матриц <math>T_{k}</math>, <math>T_{u}</math> и матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то угол <math>\theta</math> между <math>Q_{k}v_{i}</math> и точным собственным вектором <math>A</math> можно оценить формулой <math>\frac{1}{2}\sin{2\theta} <= \frac{b_{k}}{g}</math>

В алгоритме Ланцоша из ортонормированных векторов строится матрица <math>Q_{k} = [q_{1},...,q_{k}]</math> и в качестве приближенных собственных значений <math>A</math> принимаются числа Ритца - собственные значения симметричной трёхдиагональной матрицы <math>T_{k} = Q_{k}^{T}AQ_{k}</math>.

===Вычислительное ядро алгоритма===
Вычислительное ядро алгоритма Ланцоща состоит в получении на каждой итерации очередного промежуточного вектора <math>z</math>, получаемого путём умножения исходной матрицы <math>A</math> на вектор Ланцоша <math>q_{j}</math>, полученный на предыдущей итерации.

Также при значениях <math>k</math>, сопоставимых с <math>n</math>, процедура вычисления собственных значений и собственных векторов симметричной трёхдиагональной матрицы по некоторому выбранному алгоритму подразумевает значительный объём расчётов и может считаться вычислительным ядром. Однако на практике метод используется прежде всего при малых <math>k</math>.

===Макроструктура алгоритма===

Метод Ланцоша соединяет метод Ланцоша для построения крыловского подпространства в процедурой Рэлея-Ритца, подразумевающей вычисление собственных значений симметричной трёхдиагональной матрицы. Первая часть алгоритма представляет собой строго последовательные итерации, на каждой из которых вначале строится очередной столбец матрицы <math>Q_{j}</math> из первых <math>j</math> ортонормированных векторов Ланцоша и матрица <math>T_{j} = Q^T_{j}AQ_{j}</math> порядка <math>j</math>. Итерационный процесс завершается, когда <math>j = k</math>. Вторая часть алгоритма представляет собой поиск собственных значений и собственных векторов симметричной трёхдиагональной матрицы <math>T_{j}</math>, что реализуется отдельным алгоритмом, на практике используется QR-алгоритм. 

Особенность методов крыловского подпространства состоит в предположении, что матрица <math>A</math> доступна в виде "черного ящика", а именно подпрограммы, вычисляющей по заданному вектору <math>z</math> произведение <math>y = Az</math> (а также, возможно, произведение <math>y = A^{T}z</math>, если матрица <math>A</math> несимметрична). Другими словами, прямой доступ к элементам матрицы и их изменение не используются, т.к.
*Умножение матрицы на вектор - наиболее дешевая нетривиальная операция, которую можно проделать с разреженной матрицей: в случае разреженной <math>A</math>, содержащей <math>m</math> ненулевых элементов, для матрично-векторного умножения нужны <math>m</math> скалярных умножений и не более <math>m</math> сложений.
*<math>A</math> может быть не представлена в виде матрицы явно, а доступна именно через подпрограмму для вычисления произведений <math>Ax</math>.
Таким образом, как QR-алгоритм поиска собственных значений, собственных векторов матрицы <math>T_{j}</math> и оценки погрешности в них результирующей трехдиагональной матрицы, так и умножение матрицы на вектор внутри каждой итерации могут быть рассмотрены в качестве отдельных макроопераций. Проблемой является то, что именно эти манипуляции порождают основную вычислительную сложность алгоритма. Поскольку матрица, к которой применяется QR-алгоритм, имеет порядок <math>k</math> и на практике бывает мала, сделаем допущение о плотности матрицы <math>A</math>. Тогда умножение этой матрицы на вектор внутри каждой итерации нужно будет реализовывать в рамках самого алгоритма. Еще одним важным замечанием является момент вычисления собственных значений матрицы <math>T_{j}</math>. Её собственные значения, полученные на итерации <math>p</math>, никак не используются на итерации <math>p + 1</math>, поэтому целесообразно вынести эту процедуру за основной цикл. Однако на практике в силу малых размеров матрицы <math>T_{j}</math> вычисление соответствующих величин производится непосредственно в теле основного цикла, что позволяет сразу оценить достигнутую точность вычислений.

===Схема последовательной реализации алгоритма===

Алгоритм итерационный, на каждой итерации выполняется вычисление очередного столбца матрицы <math>Q</math>, а также вычисление элементов очередной пары ( диагонального и околодиагонального ) элементов матрицы <math>T</math> с использованием значений столбца матрицы <math>Q</math>, полученного на предыдущей итерации и значения околодиагонального элемента матрицы <math>T</math> с предыдущей итерации. Вектор <math>z</math> носит вспомогательный характер. Коэффициенты <math>\alpha_{j}</math> соответствуют диагональным элементам матрицы <math>T_{j}</math>, коэффициенты <math>\beta_{j}</math> – наддиагональным и поддиагональным элементам той же матрицы. Далее приводится пример псевдокода. По окончании итераций вычислеяются собственные значения и собственные векторы матрицы <math>T_{j}</math>, что в псевдокоде не отражается ( т.к. это отдельный алгоритм ).

Вычислить столбец q1 матрицы Qk q1 = b / ||b||
q0 - нулевой вектор
beta_0 = 0
foreach (j = 1 .. k )
{
z = A * qj
alpha_j = qj * z
z = z – alpha_j * qj – beta_(j-1) * q(j – 1)
beta_j = ||z||
if ( beta_j == 0 )
{
break // Все ненулевые собственные значения найдены. Выход может быть досрочным.
}
else
{
q(j + 1) = z/beta_j
}
}

Вычислить собственные значения и собственные векторы симметричной трехдиагональной матрицы Tj наиболее подходящим методом.
Полученный вектор Lj есть искомые собственные значения.

===Последовательная сложность алгоритма===
Все дальнейшие выкладки верны для наиболее быстрого последовательного варианта выполнения указываемых операций.
*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> и наоборот требует по <math>n^2</math> умножений и сложений.
*Перемножение векторов длины <math>n</math> требует по <math>n</math> умножений и сложений. 
*Поэлементное сложение векторов длины <math>n</math> требует <math>n</math> сложений.
*Умножение вектора длины <math>n</math> на число требует <math>n</math> умножений.
*Нахождение квадратичной нормы вектора длины <math>n</math> требует по <math>n</math> умножений и сложений, а также одну операцию извлечения квадратного корня.
*Вычисление собственных значений матрицы порядка <math>k</math> QR-алгоритмом требует <math>O(k^2)</math> операций, вычисление также и собственных векторов требует примерно <math>6k ^ 3</math>, то есть <math>O(k^3)</math> операций; при использовании метода «Разделяй-и-властвуй» для вычисления собственных значений и векторов аналогичной матрицы в среднем затрачивается <math>O(k^{2})</math> операций.
Таким образом, для выполнения одной итерации метода Ланцоща требуется 1 операция вычисления квадратного корня, <math>n</math> умножений, а также по <math>n ^ 2 + n + 2n + n</math> сложений и умножений, а также суммарно <math>O(k ^ 3)</math> операций, требуемых для поиска собственных значений и собственных векторов матрицы <math>T_{j}</math>. То есть последовательная сложность алгоритма Ланцоша составляет <math>O(n ^ 2) + O(k ^ 3)</math>. Это, очевидно, меньше, чем <math>O(n ^ 3)</math> операций, требуемых в алгоритмах вычисления всех собственных значений произвольных симметричных матриц, в чём и заключается выгода метода Ланцоша.

===Информационный граф===

Информационный граф алгоритма, определяемый в <ref>Параллельные вычисления (Воеводин В.В., Воеводин Вл.В.) - Спб, изд-во "БХВ-Петербург", 2002 [https://parallel.ru/news/bhv_parallelcomputing.html Ознакомиться]</ref> требует следующего замечания: подразумевается, что, например, умножение квадратной матрицы на вектор распараллеливается на <math>n</math> потоков, где <math>n</math> - порядок матрицы, а не на <math>n\log{n}</math> потоков, чего можно было бы достичь, используя суммирование сдваиванием. Это допущение аналогично допущению из статьи [https://algowiki-project.org/ru/%D0%A3%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%BE%D0%B9_%D0%BD%D0%B5%D0%BE%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BD%D0%B0_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80_(%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82) Умножение матрицы на вектор] и Это же допущение будет использовано и при оценке ресурса параллелизма алгоритма. Приводится граф без отображения входных и выходных данных.

[[File:Volkov Lanzcos 1.png|600px|thumb|center|Рис. 1: Граф алгоритма для матрицы А порядка 5 и k = 3. Op - одна итерация алгоритма, Eigen - процедура вычисления собственных значений]]
[[File:Volkov Lanzcos 2.png|600px|thumb|center|Рис. 2: Внутренний граф итерации алгоритма для матрицы A порядка 5. Vector sum - нахождение суммы элементов вектора-поэлементного произведения векторов z и qj. Op - вычитания из z векторов qj и q(j - 1), домноженных на коэффициенты. Norm - вычисление нормы вектора z.]]

===Ресурс параллелизма алгоритма===
Каждая итерация алгоритма Ланцоша выполняется строго последовательно. Однако внутри итерации возможно распараллеливание алгоритма.

*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> требует последовательного выполнения <math>n</math> ярусов умножений и сложений.
*Все остальные операции в рамках одной итерации, ведущие к вычислению матрицы <math>T_{j}</math> выполняются строго последовательно. При этом вычисление значений векторов может быть выполнено за 1 ярус умножений / сложений, а вычисление чисел - за <math>\log{n}</math> таких операций.
*Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма и рассматривается в соответствующей статье.

Таким образом, при классификации по ширине ЯПФ алгоритм обладает линейной сложностью. В случае классификации по высоте ЯПФ алгоритм также имеет линейную сложность.

===Входные и выходные данные алгоритма===
Входные данные: квадратная матрица <math>A</math> ( элементы <math>a_{ij}</math> ), вектор <math>b</math>, число <math>k</math> 
Объём входных данных: <math>n^2 + n + 1</math> 
Выходные данные: вектор <math>L</math>, матрица <math>E</math> ( элементы <math>e_{pq}</math> ) 
Объём выходных данных: <math>k + k * n</math> 

===Свойства алгоритма===
В случае неограниченности ресурсов соотношение последовательной и параллельной сложности алгоритма Ланцоща по сумме всех итераций представляет собой <math>k ^ 3 + k * n ^ 2</math> к <math>X + k * n</math>, где <math>X</math> - параллельная сложность алгоритма, используемого для вычисления собственных значений. В случае использования метода вычисления собственных значений с линейной сложностью при классисифкации по высоте ЯПФ это соотношение будет равно <math>(k ^ 2 + n ^ 2) / (k + n)</math>.

Алгоритм Ланцоша не является полностью детерминированным в том смысле, что возможно выполнение числа итераций алгоритма, меньшего, чем заданное ( из-за того, что вычислены все ненулевые собственные значения матрицы <math>A</math> ).

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

==Программная реализация алгоритма==
===Особенности реализации последователього алгоритма===
===Локальность данных и вычислений===
===Возможные способы и особенности параллельной реализации алгоритма===
===Масштабируемость алгоритма и его реализации===

Для проверки масштабируемости алгоритма из реализации была исключена непосредственно задача поиска собственных значений матрицы <math>T_{j}</math> на каждой итерации, так как это является предметом отдельных статей ([https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:F-morozov/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%BC_QR_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_(4) QR-алгоритм], метод [https://algowiki-project.org/ru/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%C2%AB%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB%D1%8F%D0%B9_%D0%B8_%D0%B2%D0%BB%D0%B0%D1%81%D1%82%D0%B2%D1%83%D0%B9%C2%BB_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_%D1%81%D0%B8%D0%BC%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%BD%D0%BE%D0%B9_%D1%82%D1%80%D0%B5%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B «Разделяй-и-властвуй»], [https://en.wikipedia.org/wiki/Arnoldi_iteration итерации Арнольди] и.т.д.). Таким образом, проверяемая на масштабируемость задача сводится к итерационному вычислению коэффициентов матрицы <math>T_{j}</math>. Матрица <math>A</math> в рассматриваемой реализации хранится построчно и построчно же разделяется между процессорами. Также в целях исключения влияния недетерминированности алгоритма этот процесс изменен так, что при вычислении всех ненулевых собственных значений матрицы <math>A</math> работа алгоритма продолжается над фиктивными данными, пока не будет завершено заранее заданное число итераций. При этом в реализации используется OpenMP для распараллеливания в пределах одного узла.

[[File:Ланцош_масштабы.png|1000px|thumb|center|Рис. 3: Производительность алгоритма для указанных значений размера задачи и числа процессов]]

Набор изменяемых параметров запуска реализации алгоритма и границы значений параметров алгоритма:

*Число MPI процессов [1 : 200]
*Число OpenMP нитей [1 : 4] (Запуск с 1 OpenMP нитью производился только для 1 MPI процесса, ускорение замерялось относительно этого запуска).
*Размерность матрицы [400 : 4000]

Эффективность выполнения реализации алгоритма:

*Минимальная эффективность - <1% (неактуально, так как в исследовании достигнут предел масштабируемости алгоритма).
*Максимальная эффективность - ~30% (получается на 2-8 процессов при ~640000 ячеек матрицы на процесс; в случае 8 процессов это входная матрица 1600<math>{\cdot}</math>1600).

Оценка масштабируемости:

*По числу процессов - при увеличении числа процессов эффективность уменьшается на всей области рассмотренных значений, но не слишком интенсивно. Это связано с небольшим объёмом пересылок данных, реализованных через достаточно эффективные операции редукции.
*По размеру задачи - при увеличении размера задачи эффективность вычислений вначале кратковременно возрастает, но затем начинает относительно равномерно убывать на всей рассматриваемой области.
*По двум направлениям - при рассмотрении увеличения, как вычислительной сложности, так и числа процессов по всей рассмотренной области значений наибольшая эффективность наблюдается при соответствии числа процессов и размера задачи. По этой "диагонали" эффективность вначале кратковременно возрастает, затем начинает убывать.

Интересно, что для разного числа процессоров положительные скачки производительности (зачастую - довольно заметные) имеют место на разных объёмах входных данных.

Далее приводятся графики ускорения программы для разных объёмов входных данных. Ускорение считалось относительно варианта с 1 MPI процессом без дальнейшнего распараллеливания посредством OpenMP. На оси абсцисс отмечается число MPI процессов, число OpenMP нитей во всех случаях равно четырём.

[[File:Speedup_2000.png|600px|thumb|center|Рис. 4: Ускорение для размера задачи 2000<math>{\cdot}</math>2000]]
[[File:Speedup_3000.png|600px|thumb|center|Рис. 5: Ускорение для размера задачи 3000<math>{\cdot}</math>3000]]
[[File:Speedup_4000.png|600px|thumb|center|Рис. 6: Ускорение для размера задачи 4000<math>{\cdot}</math>4000]]

[https://github.com/VolkovNikita94/Lanczos Используемая реализация алгоритма]
Реализация алгоритма гибридная, использует как MPI версии 2.2 (использование MPI_IN_PLACE), так и OpenMP. Указанный код компилировался с помощью компилятора IBM (mpixlcxx_r) с опцией -qsmp=omp (она включает в себя оптимизацию -O2). Реализация алгоритма полностью собственная и не использует встроенные библиотеки. Каждая "quadcore node" - это 1 узел системы BG/P, содержащий 4 микропроцессорных ядра IBM PowerPC 450 c суммарной пиковой производительностью 13.6 GFLOPS на узел и 2 GB общей памяти с пропускной способностью 13.6 GB/sec.

===Динамические характеристики и эффективность реализации алгоритма===
===Выводы для классов архитектур===
===Существующие реализации алгоритма===
Подробный анализ алгоритмов нахождения собственных значений, включая алгоритм Ланцоша, был проведен в <ref>A Survey of Software for Sparse Eigenvalue Problems - V. Hernandez, J. E. Roman, A. Tomas, V. Vidal [http://slepc.upv.es/documentation/reports/str6.pdf Ознакомиться]</ref>. Существует несколько как последовательных, так и параллельных реализаций алгоритма Ланцоша, включенных в программные библиотеки для поиска собственных значений матриц. Свойства этих реализаций можно увидеть в таблицах ниже. Первая таблица — относительно недавние реализации, вторая - «музейные экспонаты». Следует уделить особенное внимание столбцам «тип метода» и «параллелизация». В первом из них значение только N соответствует описанному варианту без реортогонализации, F – полной реортогонализации, P – частичной реортогонализации, S – выборочной реортогонализации. Во втором значние «none» соответствует отсутствию параллельной реализации, M – параллельной реализации посредством MPI, O – параллельной реализации посредством OpenMP. Их приведение целесообразно, так как на практике алгоритм Ланцоша без переортогонализации неустойчив. Также указываются библиотеки, в которых реализованы более глубокие модификации метода Ланцоша, с указанием изменений в графе «тип метода».

{| class="wikitable"
|+Таблица 1 - «современные» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|BLKLAN
|C/Matlab
|2003
|P
|none
|-
|BLZPACK
|F77
|2000, 04/00
|P + S
|M
|-
|IETL
|C++
|2006, 2.2
|N
|none
|-
|SLEPc
|C/F77
|2009, 3.0.0
|All
|M
|-
|TRLAN
|F90
|2006
|Dynamic thick-restart
|M
|-
|PROPACK
|F77/Matlab
|2005, 2.1 / 1.1
|P, finds SVD
|O
|-
|IRBLEIGS
|Matlab
|2000, 1.0
|Indefinitie symmetric
|none
|}

{| class="wikitable"
|+Таблица 2 - «исторические» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|ARPACK
|F77
|1995, 2.1
|Arnoldi iterations, impliicit restart
|M
|-
|ARPACK++
|C++
|1998, 1.1
|Arnoldi iterations, impliicit restart
|none
|-
|LANCZOS
|F77
|1992
|N
|none
|-
|LANZ
|F77
|1991, 1.0
|P
|none
|-
|LASO
|F77
|1983, 2
|S
|none
|-
|NAPACK
|F77
|1987
|N
|none
|-
|QMRPACK
|F77
|1996
|Designed for nonsymmetrical matrices (lookahead)
|none
|-
|SVDPACK
|C/F77
|1992
|P, finds SVD
|none
|-
|Underwood
|F77
|1975
|F, block version
|none
|}

==Литература==

<references \>

Участник:VolkovNikita94/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-17T07:44:37Z

Bashleon: /* Масштабируемость алгоритма и его реализации */

{{Assignment|ASA}}
{{Assignment}}

Авторы статьи : 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:VolkovNikita94 Волков Н. И. ( группа 623 )] - разделы 1.1 , 1.3 , 1.7 , 1.9 , 2.7 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Bashleon Башлыков. Л. А. ( группа 616 )] - разделы 1.2 , 1.4 
Совместно: 1.5 , 1.6 , 1.8 , 1.10 , 2.4

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики ( без переортогонализации )
| serial_complexity = <math>O(n^2) + O(k^3)</math> - на одну итерацию. <math>O(k * n^2)</math> - суммарно.
| pf_height = <math>O(n)</math>
| pf_width = <math>O(k * n)</math>
| input_data = <math>n^2 + n + 1</math>, при экономии памяти сокращается до <math>\frac{n(n - 1)}{2} + n + 1</math>
| output_data = <math>k</math>, если нужны собственные векторы, то <math>k + k * n</math>
}}

==Свойства и структура алгоритма==
===Общее описание алгоритма===

Метод Ланцоша — процедура, применяемая для нахождения <math>k</math> собственных значений симметричной матрицы произвольного размера путём вычисления их приближений. Суть метода заключается в итеративном построении специальной матрицы <math>T_{j}</math>, а затем вычислении её собственных значений и собственных векторов. Общее описание алгоритма можно найти, например, в книге <ref>Деммель Дж. Вычислительная линейная алгебра. Теория и приложения - М.: Мир, 2001. [http://www.bookvoed.ru/book?id=5252274 Ознакомиться]</ref>.

Здесь мы рассмотрим упрощенный вариант алгоритма Ланцоша, который подразумевает отсутствие влияния ошибок округления на вычислительный процесс. На практике используются модификации алгоритма Ланцоша, обладающие устойчивостью и без этого допущения ( например, алгоритм Ланцоша с полной переортогонализацией ).

===Математическое описание алгоритма===

Математическое описание алгоритма Ланцоща для вычисления собственных значений симметричной матрицы А
требует 1) математического описания метода Ланцоща для построения крыловского подпространства и 2)
математического описания т.н. процедуры Рэлея-Ритца.

==== Метод Ланцоща для построения крыловского подпространства ====

Пусть дано уравнение <math>Ax = b</math>, причём вектор <math>b</math> известен и имеется
способ вычисления <math>Ax</math>. 

Вычислим <math>y_{1} = b</math> , <math>y_{2} = Ab</math>, <math>y_{3} = A^{2}b</math>,...,<math>y_{n} = A^{(n - 1)}b</math>, где <math>n</math> -
порядок матрицы <math>A</math>. Определим матрицу <math>K = [y_{1},...,y_{n}]</math>. 

Тогда <math>AK = [Ay_{1},...,Ay_{n - 1}, Ay_{n}] = [y_{2},...,y_{n},A^n{y_{1}}]</math>.
В предположении, что матрица <math>K</math> - невырождена, можно вычислить вектор <math>c = -K^{-1}A^{ny_{1}}</math>.
Поскольку первые <math>n - 1</math> столбцов в <math>AK</math> совпадают с последними <math>n - 1</math> столбцами в
<math>K</math>, то справедливо: <math>AK = K[e_{2},e_{3},...,e_{n},-c] = KC</math>, то есть <math>K^{-1}AK = C</math>, где <math>C</math> - верхняя хессенбергова матрица. 

Заменим <math>K</math> ортогональной матрицей <math>Q</math> так, что при любом <math>k</math>
линейные оболочки первых <math>k</math> столбцов в <math>K</math> и <math>Q</math> - одно и то же
подпространство. Это подпространство называется крыловским и точно определяется как
<math>\kappa_{k}(A, b)</math> - линейная оболочка векторов <math>b</math>,<math>Ab</math>,...,<math>A^{(k - 1)}b</math>.
Суть алгоритма Ланцоша заключается в вычислении стольких первых столбцов в <math>Q</math>,
сколько необходимо для получения требуемого приближения к решению <math>Ax = b </math> (<math>Ax = {\lambda}x</math>).

Используем QR-разложение матрицы <math>K = QQ</math> 
Тогда <math>K^{-1}AK = (R^{-1}Q^{T})A(QR) = C</math>, откуда <math>Q^{T}AQ = RCR^{-1} = H</math> 

Матрица <math>H</math> является верхней хессенберговой в силу того, что верхней хессенберговой
является матрица <math>C</math>, а матрицы <math>R</math> и <math>R^{-1}</math> - верхние треугольные.

Однако алгоритм Ланцоша подразумевает симметричность матрицы <math>A</math>.
Положим <math>Q = [Q_{k}, Q_{u}]</math>, где <math>Q_{k} = [q_{1},...,q_{k}]</math> и
<math>Q_{u} = [q_{k+1},...,q_{n}]</math>. В итоге получается, что <math>H = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>
Из симметричности <math>A</math>, таким образом, следует симметричность и трехдиагональность матрицы <math>H = T</math>.
Теперь можно вывести две основные формулы, используемые в методе Ланцоша:

*<math>AQ_{j} = \beta_{j - 1}q_{j - 1} + \alpha_{j}q_{j} + \beta_{j}q_{j + 1}</math> - получается приравниванием столбцов <math>j</math> в обеих частях равенства <math>AQ = QT</math>.
*<math>q_{j}^{T}Aq_{j} = \alpha_{j}</math> - получается домножением обеих частей предыдущего соотношения на <math>q_{j}^{T}</math> и учетом ортогональности <math>Q</math>.

==== Процедура Рэлея-Ритца ====

Пусть <math>Q = [Q_{k}, Q_{u}]</math> - произвольная ортогональная матрица порядка <math>n</math>, причём
<math>Q_{k}</math> и <math>Q_{u}</math> имеют размеры <math>nk</math> и <math>n(n - k)</math>.

Пусть <math>T = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>. Обратим внимание, что в случае <math>k = 1</math> выражение <math>T_{k} = Q_{k}^{T}AQ_{k}</math> -
отношение Рэлея <math>\rho(Q_{1},A)</math>, то есть число <math>(Q_{1}^{T}AQ_{1}) / (Q_{1}^{T}Q_{1})</math>. Определим теперь суть
процедуры Рэлея-Ритца: 

*Процедура Рэлея-Ритца - интерпретация собственных значений матрицы <math>T = Q^{T}AQ</math> как приближений к собственным значениям матрицы <math>A</math>. Эти приближения называются числами Ритца. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Столбцы матрицы <math>Q_{k}V</math> рассматриваются как приближения к соответствующим собственным векторам и называются векторами Ритца.

Существует несколько важных фактов о процедуре Рэлея-Ритца, характеризующих получаемые приближения собственных значений матрицы <math>A</math>.

*Минимум величины <math>||AQ_{k} - Q_{k}R||_{2}</math> по всем симметричным <math>k^2</math> матрицам <math>R</math> достигается при <math>R = T_{k}</math>. При этом <math>||AQ_{k} - Q_{k}R||_{2} = ||T_{ku}||_{2}</math>. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Минимум величины <math>||AP_{k} - P_{k}D||_{2}</math>, когда <math>P_{k}</math> пробегает множество <math>nk </math> матрицы с ортонормированными столбцами, таких, что <math>span(P_{k}) = span(Q_{k})</math>, а <math>D</math> пробегает множество диагональных <math>k^2</math> матриц также равен <math>||T_{ku}||_{2}</math> и достигается для <math>P_{k} = Q_{k}V</math> и <math>D = \lambda</math>.

Пусть <math>T_{k}</math>, <math>T_{ku}</math>, <math>Q_{k}</math> - те же самые матрицы. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - всё то же спектральное разложение,
причём <math>V = [v_{1},...,v_{k}]</math> - ортогональная матрица, а <math>\lambda = diag(\theta_{1},...,\theta_{k})</math>. Тогда:

* Найдутся <math>k</math> необязательно наибольших собственных значений <math>\alpha_{1},...,\alpha_{k}</math> матрицы <math>A</math>, такие, что <math>|\theta_{i} - \alpha_{i}| <= ||T_{ku}||_{2}</math> для <math>i = 1,...,k</math>. Если <math>Q_{k}</math> вычислена методом Ланцоша,то правая часть этого выражения равняется <math>\beta_{k}</math>, то есть единственному элементу блока <math>T_{ku}</math>, который может быть отличен от нуля. Указанный эдемент находится в правом верхнем углу блока.
* <math>||A(Q_{k}v_{i}) - (Q_{k}v_{i})\theta_{i}||_{2} = ||T_{ku}v_{i}||_{2}</math>. Таким образом, разность между числом Ритца <math>\theta_{j}</math> и некоторым собственным значением <math>\alpha</math> матрицы <math>A</math> не превышает величины <math>||T_{ku}v_{i}||_{2}</math>, которая может быть много меньше, чем <math>||T_{ku}||_{2}</math>. Если матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то эта величина равна <math>\beta_{k}|v_{i}(k)|</math>, где <math>v_{i}(k)</math> - k-ая компонента вектора <math>v_{i}</math>. Таким образом, можно дещево вычислить норму невязки - левой части выражения, не выполняя ни одного умножения вектора на матрицы <math>Q_{k}</math> или <math>A</math>.
* Не имея информации о спектре матрицы <math>T_{u}</math>, нельзя дать какую-либо содержательную оценку для погрешности в векторе Ритца <math>Q_{k}v_{i}</math>. Если известно, что <math>\theta_{j}</math> отделено расстоянием, не меньшим <math>g</math>, от прочих собственных значений матриц <math>T_{k}</math>, <math>T_{u}</math> и матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то угол <math>\theta</math> между <math>Q_{k}v_{i}</math> и точным собственным вектором <math>A</math> можно оценить формулой <math>\frac{1}{2}\sin{2\theta} <= \frac{b_{k}}{g}</math>

В алгоритме Ланцоша из ортонормированных векторов строится матрица <math>Q_{k} = [q_{1},...,q_{k}]</math> и в качестве приближенных собственных значений <math>A</math> принимаются числа Ритца - собственные значения симметричной трёхдиагональной матрицы <math>T_{k} = Q_{k}^{T}AQ_{k}</math>.

===Вычислительное ядро алгоритма===
Вычислительное ядро алгоритма Ланцоща состоит в получении на каждой итерации очередного промежуточного вектора <math>z</math>, получаемого путём умножения исходной матрицы <math>A</math> на вектор Ланцоша <math>q_{j}</math>, полученный на предыдущей итерации.

Также при значениях <math>k</math>, сопоставимых с <math>n</math>, процедура вычисления собственных значений и собственных векторов симметричной трёхдиагональной матрицы по некоторому выбранному алгоритму подразумевает значительный объём расчётов и может считаться вычислительным ядром. Однако на практике метод используется прежде всего при малых <math>k</math>.

===Макроструктура алгоритма===

Метод Ланцоша соединяет метод Ланцоша для построения крыловского подпространства в процедурой Рэлея-Ритца, подразумевающей вычисление собственных значений симметричной трёхдиагональной матрицы. Первая часть алгоритма представляет собой строго последовательные итерации, на каждой из которых вначале строится очередной столбец матрицы <math>Q_{j}</math> из первых <math>j</math> ортонормированных векторов Ланцоша и матрица <math>T_{j} = Q^T_{j}AQ_{j}</math> порядка <math>j</math>. Итерационный процесс завершается, когда <math>j = k</math>. Вторая часть алгоритма представляет собой поиск собственных значений и собственных векторов симметричной трёхдиагональной матрицы <math>T_{j}</math>, что реализуется отдельным алгоритмом, на практике используется QR-алгоритм. 

Особенность методов крыловского подпространства состоит в предположении, что матрица <math>A</math> доступна в виде "черного ящика", а именно подпрограммы, вычисляющей по заданному вектору <math>z</math> произведение <math>y = Az</math> (а также, возможно, произведение <math>y = A^{T}z</math>, если матрица <math>A</math> несимметрична). Другими словами, прямой доступ к элементам матрицы и их изменение не используются, т.к.
*Умножение матрицы на вектор - наиболее дешевая нетривиальная операция, которую можно проделать с разреженной матрицей: в случае разреженной <math>A</math>, содержащей <math>m</math> ненулевых элементов, для матрично-векторного умножения нужны <math>m</math> скалярных умножений и не более <math>m</math> сложений.
*<math>A</math> может быть не представлена в виде матрицы явно, а доступна именно через подпрограмму для вычисления произведений <math>Ax</math>.
Таким образом, как QR-алгоритм поиска собственных значений, собственных векторов матрицы <math>T_{j}</math> и оценки погрешности в них результирующей трехдиагональной матрицы, так и умножение матрицы на вектор внутри каждой итерации могут быть рассмотрены в качестве отдельных макроопераций. Проблемой является то, что именно эти манипуляции порождают основную вычислительную сложность алгоритма. Поскольку матрица, к которой применяется QR-алгоритм, имеет порядок <math>k</math> и на практике бывает мала, сделаем допущение о плотности матрицы <math>A</math>. Тогда умножение этой матрицы на вектор внутри каждой итерации нужно будет реализовывать в рамках самого алгоритма. Еще одним важным замечанием является момент вычисления собственных значений матрицы <math>T_{j}</math>. Её собственные значения, полученные на итерации <math>p</math>, никак не используются на итерации <math>p + 1</math>, поэтому целесообразно вынести эту процедуру за основной цикл. Однако на практике в силу малых размеров матрицы <math>T_{j}</math> вычисление соответствующих величин производится непосредственно в теле основного цикла, что позволяет сразу оценить достигнутую точность вычислений.

===Схема последовательной реализации алгоритма===

Алгоритм итерационный, на каждой итерации выполняется вычисление очередного столбца матрицы <math>Q</math>, а также вычисление элементов очередной пары ( диагонального и околодиагонального ) элементов матрицы <math>T</math> с использованием значений столбца матрицы <math>Q</math>, полученного на предыдущей итерации и значения околодиагонального элемента матрицы <math>T</math> с предыдущей итерации. Вектор <math>z</math> носит вспомогательный характер. Коэффициенты <math>\alpha_{j}</math> соответствуют диагональным элементам матрицы <math>T_{j}</math>, коэффициенты <math>\beta_{j}</math> – наддиагональным и поддиагональным элементам той же матрицы. Далее приводится пример псевдокода. По окончании итераций вычислеяются собственные значения и собственные векторы матрицы <math>T_{j}</math>, что в псевдокоде не отражается ( т.к. это отдельный алгоритм ).

Вычислить столбец q1 матрицы Qk q1 = b / ||b||
q0 - нулевой вектор
beta_0 = 0
foreach (j = 1 .. k )
{
z = A * qj
alpha_j = qj * z
z = z – alpha_j * qj – beta_(j-1) * q(j – 1)
beta_j = ||z||
if ( beta_j == 0 )
{
break // Все ненулевые собственные значения найдены. Выход может быть досрочным.
}
else
{
q(j + 1) = z/beta_j
}
}

Вычислить собственные значения и собственные векторы симметричной трехдиагональной матрицы Tj наиболее подходящим методом.
Полученный вектор Lj есть искомые собственные значения.

===Последовательная сложность алгоритма===
Все дальнейшие выкладки верны для наиболее быстрого последовательного варианта выполнения указываемых операций.
*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> и наоборот требует по <math>n^2</math> умножений и сложений.
*Перемножение векторов длины <math>n</math> требует по <math>n</math> умножений и сложений. 
*Поэлементное сложение векторов длины <math>n</math> требует <math>n</math> сложений.
*Умножение вектора длины <math>n</math> на число требует <math>n</math> умножений.
*Нахождение квадратичной нормы вектора длины <math>n</math> требует по <math>n</math> умножений и сложений, а также одну операцию извлечения квадратного корня.
*Вычисление собственных значений матрицы порядка <math>k</math> QR-алгоритмом требует <math>O(k^2)</math> операций, вычисление также и собственных векторов требует примерно <math>6k ^ 3</math>, то есть <math>O(k^3)</math> операций; при использовании метода «Разделяй-и-властвуй» для вычисления собственных значений и векторов аналогичной матрицы в среднем затрачивается <math>O(k^{2})</math> операций.
Таким образом, для выполнения одной итерации метода Ланцоща требуется 1 операция вычисления квадратного корня, <math>n</math> умножений, а также по <math>n ^ 2 + n + 2n + n</math> сложений и умножений, а также суммарно <math>O(k ^ 3)</math> операций, требуемых для поиска собственных значений и собственных векторов матрицы <math>T_{j}</math>. То есть последовательная сложность алгоритма Ланцоша составляет <math>O(n ^ 2) + O(k ^ 3)</math>. Это, очевидно, меньше, чем <math>O(n ^ 3)</math> операций, требуемых в алгоритмах вычисления всех собственных значений произвольных симметричных матриц, в чём и заключается выгода метода Ланцоша.

===Информационный граф===

Информационный граф алгоритма, определяемый в <ref>Параллельные вычисления (Воеводин В.В., Воеводин Вл.В.) - Спб, изд-во "БХВ-Петербург", 2002 [https://parallel.ru/news/bhv_parallelcomputing.html Ознакомиться]</ref> требует следующего замечания: подразумевается, что, например, умножение квадратной матрицы на вектор распараллеливается на <math>n</math> потоков, где <math>n</math> - порядок матрицы, а не на <math>n\log{n}</math> потоков, чего можно было бы достичь, используя суммирование сдваиванием. Это допущение аналогично допущению из статьи [https://algowiki-project.org/ru/%D0%A3%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%BE%D0%B9_%D0%BD%D0%B5%D0%BE%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BD%D0%B0_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80_(%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82) Умножение матрицы на вектор] и Это же допущение будет использовано и при оценке ресурса параллелизма алгоритма. Приводится граф без отображения входных и выходных данных.

[[File:Volkov Lanzcos 1.png|600px|thumb|center|Рис. 1: Граф алгоритма для матрицы А порядка 5 и k = 3. Op - одна итерация алгоритма, Eigen - процедура вычисления собственных значений]]
[[File:Volkov Lanzcos 2.png|600px|thumb|center|Рис. 2: Внутренний граф итерации алгоритма для матрицы A порядка 5. Vector sum - нахождение суммы элементов вектора-поэлементного произведения векторов z и qj. Op - вычитания из z векторов qj и q(j - 1), домноженных на коэффициенты. Norm - вычисление нормы вектора z.]]

===Ресурс параллелизма алгоритма===
Каждая итерация алгоритма Ланцоша выполняется строго последовательно. Однако внутри итерации возможно распараллеливание алгоритма.

*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> требует последовательного выполнения <math>n</math> ярусов умножений и сложений.
*Все остальные операции в рамках одной итерации, ведущие к вычислению матрицы <math>T_{j}</math> выполняются строго последовательно. При этом вычисление значений векторов может быть выполнено за 1 ярус умножений / сложений, а вычисление чисел - за <math>\log{n}</math> таких операций.
*Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма и рассматривается в соответствующей статье.

Таким образом, при классификации по ширине ЯПФ алгоритм обладает линейной сложностью. В случае классификации по высоте ЯПФ алгоритм также имеет линейную сложность.

===Входные и выходные данные алгоритма===
Входные данные: квадратная матрица <math>A</math> ( элементы <math>a_{ij}</math> ), вектор <math>b</math>, число <math>k</math> 
Объём входных данных: <math>n^2 + n + 1</math> 
Выходные данные: вектор <math>L</math>, матрица <math>E</math> ( элементы <math>e_{pq}</math> ) 
Объём выходных данных: <math>k + k * n</math> 

===Свойства алгоритма===
В случае неограниченности ресурсов соотношение последовательной и параллельной сложности алгоритма Ланцоща по сумме всех итераций представляет собой <math>k ^ 3 + k * n ^ 2</math> к <math>X + k * n</math>, где <math>X</math> - параллельная сложность алгоритма, используемого для вычисления собственных значений. В случае использования метода вычисления собственных значений с линейной сложностью при классисифкации по высоте ЯПФ это соотношение будет равно <math>(k ^ 2 + n ^ 2) / (k + n)</math>.

Алгоритм Ланцоша не является полностью детерминированным в том смысле, что возможно выполнение числа итераций алгоритма, меньшего, чем заданное ( из-за того, что вычислены все ненулевые собственные значения матрицы <math>A</math> ).

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

==Программная реализация алгоритма==
===Особенности реализации последователього алгоритма===
===Локальность данных и вычислений===
===Возможные способы и особенности параллельной реализации алгоритма===
===Масштабируемость алгоритма и его реализации===

Для проверки масштабируемости алгоритма из реализации была исключена непосредственно задача поиска собственных значений матрицы <math>T_{j}</math> на каждой итерации, так как это является предметом отдельных статей ([https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:F-morozov/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%BC_QR_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_(4) QR-алгоритм], метод [https://algowiki-project.org/ru/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%C2%AB%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB%D1%8F%D0%B9_%D0%B8_%D0%B2%D0%BB%D0%B0%D1%81%D1%82%D0%B2%D1%83%D0%B9%C2%BB_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_%D1%81%D0%B8%D0%BC%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%BD%D0%BE%D0%B9_%D1%82%D1%80%D0%B5%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B «Разделяй-и-властвуй»], [https://en.wikipedia.org/wiki/Arnoldi_iteration итерации Арнольди] и.т.д.). Таким образом, проверяемая на масштабируемость задача сводится к итерационному вычислению коэффициентов матрицы <math>T_{j}</math>. Матрица <math>A</math> в рассматриваемой реализации хранится построчно и построчно же разделяется между процессорами. Также в целях исключения влияния недетерминированности алгоритма этот процесс изменен так, что при вычислении всех ненулевых собственных значений матрицы <math>A</math> работа алгоритма продолжается над фиктивными данными, пока не будет завершено заранее заданное число итераций. При этом в реализации используется OpenMP для распараллеливания в пределах одного узла.

[[File:Ланцош_масштабы.png|1000px|thumb|center|Рис. 3: Производительность алгоритма для указанных значений размера задачи и числа процессов]]

Набор изменяемых параметров запуска реализации алгоритма и границы значений параметров алгоритма:

*Число MPI процессов [1 : 200]
*Число OpenMP нитей [1 : 4] (Запуск с 1 OpenMP нитью производился только для 1 MPI процесса, ускорение замерялось относительно этого запуска).
*Размерность матрицы [400 : 4000]

Эффективность выполнения реализации алгоритма:

*Минимальная эффективность - <1% (неактуально, так как в исследовании достигнут предел масштабируемости алгоритма).
*Максимальная эффективность - ~30% (получается на 2-8 процессов при ~640000 ячеек матрицы на процесс; в случае 8 процессов это входная матрица 1600<math>{\cdot}</math>1600).

Оценка масштабируемости:

*По числу процессов - при увеличении числа процессов эффективность уменьшается на всей области рассмотренных значений, но не слишком интенсивно. Это связано с небольшим объёмом пересылок данных, реализованных через достаточно эффективные операции редукции.
*По размеру задачи - при увеличении размера задачи эффективность вычислений вначале кратковременно возрастает, но затем начинает относительно равномерно убывать на всей рассматриваемой области.
*По двум направлениям - при рассмотрении увеличения, как вычислительной сложности, так и числа процессов по всей рассмотренной области значений наибольшая эффективность наблюдается при соответствии числа процессов и размера задачи. По этой "диагонали" эффективность вначале кратковременно возрастает, затем начинает убывать.

Интересно, что для разного числа процессоров положительные скачки производительности (зачастую - довольно заметные) имеют место на разных объёмах входных данных.

Далее приводятся графики ускорения программы для разных объёмов входных данных. Ускорение считалось относительно варианта с 1 MPI процессом без дальнейшнего распараллеливания посредством OpenMP. На оси абсцисс отмечается число MPI процессов, число OpenMP нитей во всех случаях равно четырём.

[[File:Speedup_2000.png|600px|thumb|center|Рис. 4: Ускорение для размера задачи 2000х2000]]
[[File:Speedup_3000.png|600px|thumb|center|Рис. 5: Ускорение для размера задачи 3000х3000]]
[[File:Speedup_4000.png|600px|thumb|center|Рис. 6: Ускорение для размера задачи 4000х4000]]

[https://github.com/VolkovNikita94/Lanczos Используемая реализация алгоритма]
Реализация алгоритма гибридная, использует как MPI версии 2.2 (использование MPI_IN_PLACE), так и OpenMP. Указанный код компилировался с помощью компилятора IBM (mpixlcxx_r) с опцией -qsmp=omp (она включает в себя оптимизацию -O2). Реализация алгоритма полностью собственная и не использует встроенные библиотеки. Каждая "quadcore node" - это 1 узел системы BG/P, содержащий 4 микропроцессорных ядра IBM PowerPC 450 c суммарной пиковой производительностью 13.6 GFLOPS на узел и 2 GB общей памяти с пропускной способностью 13.6 GB/sec.

===Динамические характеристики и эффективность реализации алгоритма===
===Выводы для классов архитектур===
===Существующие реализации алгоритма===
Подробный анализ алгоритмов нахождения собственных значений, включая алгоритм Ланцоша, был проведен в <ref>A Survey of Software for Sparse Eigenvalue Problems - V. Hernandez, J. E. Roman, A. Tomas, V. Vidal [http://slepc.upv.es/documentation/reports/str6.pdf Ознакомиться]</ref>. Существует несколько как последовательных, так и параллельных реализаций алгоритма Ланцоша, включенных в программные библиотеки для поиска собственных значений матриц. Свойства этих реализаций можно увидеть в таблицах ниже. Первая таблица — относительно недавние реализации, вторая - «музейные экспонаты». Следует уделить особенное внимание столбцам «тип метода» и «параллелизация». В первом из них значение только N соответствует описанному варианту без реортогонализации, F – полной реортогонализации, P – частичной реортогонализации, S – выборочной реортогонализации. Во втором значние «none» соответствует отсутствию параллельной реализации, M – параллельной реализации посредством MPI, O – параллельной реализации посредством OpenMP. Их приведение целесообразно, так как на практике алгоритм Ланцоша без переортогонализации неустойчив. Также указываются библиотеки, в которых реализованы более глубокие модификации метода Ланцоша, с указанием изменений в графе «тип метода».

{| class="wikitable"
|+Таблица 1 - «современные» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|BLKLAN
|C/Matlab
|2003
|P
|none
|-
|BLZPACK
|F77
|2000, 04/00
|P + S
|M
|-
|IETL
|C++
|2006, 2.2
|N
|none
|-
|SLEPc
|C/F77
|2009, 3.0.0
|All
|M
|-
|TRLAN
|F90
|2006
|Dynamic thick-restart
|M
|-
|PROPACK
|F77/Matlab
|2005, 2.1 / 1.1
|P, finds SVD
|O
|-
|IRBLEIGS
|Matlab
|2000, 1.0
|Indefinitie symmetric
|none
|}

{| class="wikitable"
|+Таблица 2 - «исторические» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|ARPACK
|F77
|1995, 2.1
|Arnoldi iterations, impliicit restart
|M
|-
|ARPACK++
|C++
|1998, 1.1
|Arnoldi iterations, impliicit restart
|none
|-
|LANCZOS
|F77
|1992
|N
|none
|-
|LANZ
|F77
|1991, 1.0
|P
|none
|-
|LASO
|F77
|1983, 2
|S
|none
|-
|NAPACK
|F77
|1987
|N
|none
|-
|QMRPACK
|F77
|1996
|Designed for nonsymmetrical matrices (lookahead)
|none
|-
|SVDPACK
|C/F77
|1992
|P, finds SVD
|none
|-
|Underwood
|F77
|1975
|F, block version
|none
|}

==Литература==

<references \>

Обсуждение участника:VolkovNikita94

2016-12-17T07:31:03Z

Bashleon: /* Новые замечания */

== Статья [[Участник:VolkovNikita94/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Замечания по тексту ===
* В разделе 1.5 помимо текста программы нужно дать словесные пояснения. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:09, 27 октября 2016 (MSK)
* Подписи к рисунку в разделе 2.4 очень мелкие, почти неразличимые. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:06, 16 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какая версия MKL, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:06, 16 ноября 2016 (MSK)
** Это замечание остаётся. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 13:56, 21 ноября 2016 (MSK)
* В разделе 2.4 не приведена использованная в экспериментах реализация алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:06, 16 ноября 2016 (MSK)
* Рисунки в статье не пронумерованы. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 13:56, 21 ноября 2016 (MSK)
* На рис. в разделе 2.4 по-прежнему очень мелкие подписи. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 13:56, 21 ноября 2016 (MSK)

== Исправления. ==

Поправили замечания, прогнали на большом числе процессоров.

Мой личный комментарий "вне задания": есть довольно любопытная вещь, на которую стоит обратить внимание - небольшие скачки производительности, которые заметны на небольшом числе процессов для небольшого размера задачи. Для большего числа процессов эти скачки полностью не охватываются ( см. линию для 50 процессоров ), но, вероятно, имеют место быть. Какая-никакая, а "характерная особенность", спасибо кэшам ? На 100 процессорах какое-то безумие :)

* для стабильности можно просчитать задачу несколько раз во время одного запуска и сравнить времена (потом взять среднее или минимальное), отличия но 10% должны получиться. А если сравнивать времена различных запуском (когда очередь выделит узлы с другими номерами), то отличие в 30% тоже могут случиться. На заре установки Ломоносова знакомые исследовали это и составили карту скоростей обменов между физическими узлами, а потом даже одсуждали это с производителями. Вроде бы даже у них есть публикации... (ИНК) P.S. Если замеренное время счета получается меньше 1 сек., то лучше запустить задачу в цикле несколько раз подряд.

== Новые замечания ==
* ваша работа дошла до проверяющего только вчера, так что извиняйте за задержку (ИНК)
* везде удрать * как символ математического умножения (в самом крайнем случае можно использовать \cdot)
* в формулах ну очень часто неверно набраны верхние индексы, состоящие более чем из одной буквы. Не забывайте фигурные скобки! (например, стоит набирать K^{-1})
* п.1.5 греческие буквы в обозначениях лучше сделать греческими, добавив \ (например, \alpha, \beta)
* п.1.6 поправить показатель степени "в среднем затрачивается <math>O(k^{2.3})</math> операций"
* п.1.7 "из статей от матрично-векторных операциях" (статьи в Алговики? добавить линк на них)
* п.1.8 "Ланцоща" --> "Ланцоша", "классисифкации" --> "классификации" (безобразие! вы очень торопились при наборе... --> в режиме правки взять всю статью мышкой и поместить в Word чтобы он подчеркнул ошибочно набранные слова, после чего исправить все описки)
* п.2.4 "предметом отдельных статей ( QR-алгоритм, метод «Разделяй-и-властвуй», итерации Арнольди и.т.д. )" (линки на статьи)
* п.2.4 собственная реализация - это хорошо (MPI v.2.2? может стоит упомянуть это? И вообще сказать, что это гибридная MPI+OpenMP реализация. А сейчас модно писать код прямо с *.h файле без *.cpp? Хотя никому не мешает, реализация хорошая...)
* п.2.4 "Максимальная эффективность - 30.76%" малоинформативная фраза если не сказано на скольки ядрах, на одном или 800? Неплохо было бы для тех же данных привести пару-тройку графиков ускорения, для двух-трех размерностей матрицы.
* п.2.7 - замечательно, спасибо
* п.3 стоит занумеровать и сделать настоящие ссылки

Основные замечания поправил, Леонид скоро зальёт графики ускорения и еще подправит 2.4
-Сделано

PS: "модно..." - нет, не модно :) Просто а) программа маленькая и это не мешает, так что нет "против" и б) программа писалась в Visual Studio, где процедура компиляции настроена с отличиями от того, что происходит на кластере; в таком виде при переносе переписывать не нужно вообще ничего, так что есть "за".

Участник:VolkovNikita94/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-17T07:30:10Z

Bashleon: /* Масштабируемость алгоритма и его реализации */

{{Assignment|ASA}}
{{Assignment}}

Авторы статьи : 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:VolkovNikita94 Волков Н. И. ( группа 623 )] - разделы 1.1 , 1.3 , 1.7 , 1.9 , 2.7 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Bashleon Башлыков. Л. А. ( группа 616 )] - разделы 1.2 , 1.4 
Совместно: 1.5 , 1.6 , 1.8 , 1.10 , 2.4

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики ( без переортогонализации )
| serial_complexity = <math>O(n^2) + O(k^3)</math> - на одну итерацию. <math>O(k * n^2)</math> - суммарно.
| pf_height = <math>O(n)</math>
| pf_width = <math>O(k * n)</math>
| input_data = <math>n^2 + n + 1</math>, при экономии памяти сокращается до <math>\frac{n(n - 1)}{2} + n + 1</math>
| output_data = <math>k</math>, если нужны собственные векторы, то <math>k + k * n</math>
}}

==Свойства и структура алгоритма==
===Общее описание алгоритма===

Метод Ланцоша — процедура, применяемая для нахождения <math>k</math> собственных значений симметричной матрицы произвольного размера путём вычисления их приближений. Суть метода заключается в итеративном построении специальной матрицы <math>T_{j}</math>, а затем вычислении её собственных значений и собственных векторов. Общее описание алгоритма можно найти, например, в книге <ref>Деммель Дж. Вычислительная линейная алгебра. Теория и приложения - М.: Мир, 2001. [http://www.bookvoed.ru/book?id=5252274 Ознакомиться]</ref>.

Здесь мы рассмотрим упрощенный вариант алгоритма Ланцоша, который подразумевает отсутствие влияния ошибок округления на вычислительный процесс. На практике используются модификации алгоритма Ланцоша, обладающие устойчивостью и без этого допущения ( например, алгоритм Ланцоша с полной переортогонализацией ).

===Математическое описание алгоритма===

Математическое описание алгоритма Ланцоща для вычисления собственных значений симметричной матрицы А
требует 1) математического описания метода Ланцоща для построения крыловского подпространства и 2)
математического описания т.н. процедуры Рэлея-Ритца.

==== Метод Ланцоща для построения крыловского подпространства ====

Пусть дано уравнение <math>Ax = b</math>, причём вектор <math>b</math> известен и имеется
способ вычисления <math>Ax</math>. 

Вычислим <math>y_{1} = b</math> , <math>y_{2} = Ab</math>, <math>y_{3} = A^{2}b</math>,...,<math>y_{n} = A^{(n - 1)}b</math>, где <math>n</math> -
порядок матрицы <math>A</math>. Определим матрицу <math>K = [y_{1},...,y_{n}]</math>. 

Тогда <math>AK = [Ay_{1},...,Ay_{n - 1}, Ay_{n}] = [y_{2},...,y_{n},A^n{y_{1}}]</math>.
В предположении, что матрица <math>K</math> - невырождена, можно вычислить вектор <math>c = -K^{-1}A^{ny_{1}}</math>.
Поскольку первые <math>n - 1</math> столбцов в <math>AK</math> совпадают с последними <math>n - 1</math> столбцами в
<math>K</math>, то справедливо: <math>AK = K[e_{2},e_{3},...,e_{n},-c] = KC</math>, то есть <math>K^{-1}AK = C</math>, где <math>C</math> - верхняя хессенбергова матрица. 

Заменим <math>K</math> ортогональной матрицей <math>Q</math> так, что при любом <math>k</math>
линейные оболочки первых <math>k</math> столбцов в <math>K</math> и <math>Q</math> - одно и то же
подпространство. Это подпространство называется крыловским и точно определяется как
<math>\kappa_{k}(A, b)</math> - линейная оболочка векторов <math>b</math>,<math>Ab</math>,...,<math>A^{(k - 1)}b</math>.
Суть алгоритма Ланцоша заключается в вычислении стольких первых столбцов в <math>Q</math>,
сколько необходимо для получения требуемого приближения к решению <math>Ax = b </math> (<math>Ax = {\lambda}x</math>).

Используем QR-разложение матрицы <math>K = QQ</math> 
Тогда <math>K^{-1}AK = (R^{-1}Q^{T})A(QR) = C</math>, откуда <math>Q^{T}AQ = RCR^{-1} = H</math> 

Матрица <math>H</math> является верхней хессенберговой в силу того, что верхней хессенберговой
является матрица <math>C</math>, а матрицы <math>R</math> и <math>R^{-1}</math> - верхние треугольные.

Однако алгоритм Ланцоша подразумевает симметричность матрицы <math>A</math>.
Положим <math>Q = [Q_{k}, Q_{u}]</math>, где <math>Q_{k} = [q_{1},...,q_{k}]</math> и
<math>Q_{u} = [q_{k+1},...,q_{n}]</math>. В итоге получается, что <math>H = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>
Из симметричности <math>A</math>, таким образом, следует симметричность и трехдиагональность матрицы <math>H = T</math>.
Теперь можно вывести две основные формулы, используемые в методе Ланцоша:

*<math>AQ_{j} = \beta_{j - 1}q_{j - 1} + \alpha_{j}q_{j} + \beta_{j}q_{j + 1}</math> - получается приравниванием столбцов <math>j</math> в обеих частях равенства <math>AQ = QT</math>.
*<math>q_{j}^{T}Aq_{j} = \alpha_{j}</math> - получается домножением обеих частей предыдущего соотношения на <math>q_{j}^{T}</math> и учетом ортогональности <math>Q</math>.

==== Процедура Рэлея-Ритца ====

Пусть <math>Q = [Q_{k}, Q_{u}]</math> - произвольная ортогональная матрица порядка <math>n</math>, причём
<math>Q_{k}</math> и <math>Q_{u}</math> имеют размеры <math>nk</math> и <math>n(n - k)</math>.

Пусть <math>T = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>. Обратим внимание, что в случае <math>k = 1</math> выражение <math>T_{k} = Q_{k}^{T}AQ_{k}</math> -
отношение Рэлея <math>\rho(Q_{1},A)</math>, то есть число <math>(Q_{1}^{T}AQ_{1}) / (Q_{1}^{T}Q_{1})</math>. Определим теперь суть
процедуры Рэлея-Ритца: 

*Процедура Рэлея-Ритца - интерпретация собственных значений матрицы <math>T = Q^{T}AQ</math> как приближений к собственным значениям матрицы <math>A</math>. Эти приближения называются числами Ритца. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Столбцы матрицы <math>Q_{k}V</math> рассматриваются как приближения к соответствующим собственным векторам и называются векторами Ритца.

Существует несколько важных фактов о процедуре Рэлея-Ритца, характеризующих получаемые приближения собственных значений матрицы <math>A</math>.

*Минимум величины <math>||AQ_{k} - Q_{k}R||_{2}</math> по всем симметричным <math>k^2</math> матрицам <math>R</math> достигается при <math>R = T_{k}</math>. При этом <math>||AQ_{k} - Q_{k}R||_{2} = ||T_{ku}||_{2}</math>. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Минимум величины <math>||AP_{k} - P_{k}D||_{2}</math>, когда <math>P_{k}</math> пробегает множество <math>nk </math> матрицы с ортонормированными столбцами, таких, что <math>span(P_{k}) = span(Q_{k})</math>, а <math>D</math> пробегает множество диагональных <math>k^2</math> матриц также равен <math>||T_{ku}||_{2}</math> и достигается для <math>P_{k} = Q_{k}V</math> и <math>D = \lambda</math>.

Пусть <math>T_{k}</math>, <math>T_{ku}</math>, <math>Q_{k}</math> - те же самые матрицы. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - всё то же спектральное разложение,
причём <math>V = [v_{1},...,v_{k}]</math> - ортогональная матрица, а <math>\lambda = diag(\theta_{1},...,\theta_{k})</math>. Тогда:

* Найдутся <math>k</math> необязательно наибольших собственных значений <math>\alpha_{1},...,\alpha_{k}</math> матрицы <math>A</math>, такие, что <math>|\theta_{i} - \alpha_{i}| <= ||T_{ku}||_{2}</math> для <math>i = 1,...,k</math>. Если <math>Q_{k}</math> вычислена методом Ланцоша,то правая часть этого выражения равняется <math>\beta_{k}</math>, то есть единственному элементу блока <math>T_{ku}</math>, который может быть отличен от нуля. Указанный эдемент находится в правом верхнем углу блока.
* <math>||A(Q_{k}v_{i}) - (Q_{k}v_{i})\theta_{i}||_{2} = ||T_{ku}v_{i}||_{2}</math>. Таким образом, разность между числом Ритца <math>\theta_{j}</math> и некоторым собственным значением <math>\alpha</math> матрицы <math>A</math> не превышает величины <math>||T_{ku}v_{i}||_{2}</math>, которая может быть много меньше, чем <math>||T_{ku}||_{2}</math>. Если матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то эта величина равна <math>\beta_{k}|v_{i}(k)|</math>, где <math>v_{i}(k)</math> - k-ая компонента вектора <math>v_{i}</math>. Таким образом, можно дещево вычислить норму невязки - левой части выражения, не выполняя ни одного умножения вектора на матрицы <math>Q_{k}</math> или <math>A</math>.
* Не имея информации о спектре матрицы <math>T_{u}</math>, нельзя дать какую-либо содержательную оценку для погрешности в векторе Ритца <math>Q_{k}v_{i}</math>. Если известно, что <math>\theta_{j}</math> отделено расстоянием, не меньшим <math>g</math>, от прочих собственных значений матриц <math>T_{k}</math>, <math>T_{u}</math> и матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то угол <math>\theta</math> между <math>Q_{k}v_{i}</math> и точным собственным вектором <math>A</math> можно оценить формулой <math>\frac{1}{2}\sin{2\theta} <= \frac{b_{k}}{g}</math>

В алгоритме Ланцоша из ортонормированных векторов строится матрица <math>Q_{k} = [q_{1},...,q_{k}]</math> и в качестве приближенных собственных значений <math>A</math> принимаются числа Ритца - собственные значения симметричной трёхдиагональной матрицы <math>T_{k} = Q_{k}^{T}AQ_{k}</math>.

===Вычислительное ядро алгоритма===
Вычислительное ядро алгоритма Ланцоща состоит в получении на каждой итерации очередного промежуточного вектора <math>z</math>, получаемого путём умножения исходной матрицы <math>A</math> на вектор Ланцоша <math>q_{j}</math>, полученный на предыдущей итерации.

Также при значениях <math>k</math>, сопоставимых с <math>n</math>, процедура вычисления собственных значений и собственных векторов симметричной трёхдиагональной матрицы по некоторому выбранному алгоритму подразумевает значительный объём расчётов и может считаться вычислительным ядром. Однако на практике метод используется прежде всего при малых <math>k</math>.

===Макроструктура алгоритма===

Метод Ланцоша соединяет метод Ланцоша для построения крыловского подпространства в процедурой Рэлея-Ритца, подразумевающей вычисление собственных значений симметричной трёхдиагональной матрицы. Первая часть алгоритма представляет собой строго последовательные итерации, на каждой из которых вначале строится очередной столбец матрицы <math>Q_{j}</math> из первых <math>j</math> ортонормированных векторов Ланцоша и матрица <math>T_{j} = Q^T_{j}AQ_{j}</math> порядка <math>j</math>. Итерационный процесс завершается, когда <math>j = k</math>. Вторая часть алгоритма представляет собой поиск собственных значений и собственных векторов симметричной трёхдиагональной матрицы <math>T_{j}</math>, что реализуется отдельным алгоритмом, на практике используется QR-алгоритм. 

Особенность методов крыловского подпространства состоит в предположении, что матрица <math>A</math> доступна в виде "черного ящика", а именно подпрограммы, вычисляющей по заданному вектору <math>z</math> произведение <math>y = Az</math> (а также, возможно, произведение <math>y = A^{T}z</math>, если матрица <math>A</math> несимметрична). Другими словами, прямой доступ к элементам матрицы и их изменение не используются, т.к.
*Умножение матрицы на вектор - наиболее дешевая нетривиальная операция, которую можно проделать с разреженной матрицей: в случае разреженной <math>A</math>, содержащей <math>m</math> ненулевых элементов, для матрично-векторного умножения нужны <math>m</math> скалярных умножений и не более <math>m</math> сложений.
*<math>A</math> может быть не представлена в виде матрицы явно, а доступна именно через подпрограмму для вычисления произведений <math>Ax</math>.
Таким образом, как QR-алгоритм поиска собственных значений, собственных векторов матрицы <math>T_{j}</math> и оценки погрешности в них результирующей трехдиагональной матрицы, так и умножение матрицы на вектор внутри каждой итерации могут быть рассмотрены в качестве отдельных макроопераций. Проблемой является то, что именно эти манипуляции порождают основную вычислительную сложность алгоритма. Поскольку матрица, к которой применяется QR-алгоритм, имеет порядок <math>k</math> и на практике бывает мала, сделаем допущение о плотности матрицы <math>A</math>. Тогда умножение этой матрицы на вектор внутри каждой итерации нужно будет реализовывать в рамках самого алгоритма. Еще одним важным замечанием является момент вычисления собственных значений матрицы <math>T_{j}</math>. Её собственные значения, полученные на итерации <math>p</math>, никак не используются на итерации <math>p + 1</math>, поэтому целесообразно вынести эту процедуру за основной цикл. Однако на практике в силу малых размеров матрицы <math>T_{j}</math> вычисление соответствующих величин производится непосредственно в теле основного цикла, что позволяет сразу оценить достигнутую точность вычислений.

===Схема последовательной реализации алгоритма===

Алгоритм итерационный, на каждой итерации выполняется вычисление очередного столбца матрицы <math>Q</math>, а также вычисление элементов очередной пары ( диагонального и околодиагонального ) элементов матрицы <math>T</math> с использованием значений столбца матрицы <math>Q</math>, полученного на предыдущей итерации и значения околодиагонального элемента матрицы <math>T</math> с предыдущей итерации. Вектор <math>z</math> носит вспомогательный характер. Коэффициенты <math>\alpha_{j}</math> соответствуют диагональным элементам матрицы <math>T_{j}</math>, коэффициенты <math>\beta_{j}</math> – наддиагональным и поддиагональным элементам той же матрицы. Далее приводится пример псевдокода. По окончании итераций вычислеяются собственные значения и собственные векторы матрицы <math>T_{j}</math>, что в псевдокоде не отражается ( т.к. это отдельный алгоритм ).

Вычислить столбец q1 матрицы Qk q1 = b / ||b||
q0 - нулевой вектор
beta_0 = 0
foreach (j = 1 .. k )
{
z = A * qj
alpha_j = qj * z
z = z – alpha_j * qj – beta_(j-1) * q(j – 1)
beta_j = ||z||
if ( beta_j == 0 )
{
break // Все ненулевые собственные значения найдены. Выход может быть досрочным.
}
else
{
q(j + 1) = z/beta_j
}
}

Вычислить собственные значения и собственные векторы симметричной трехдиагональной матрицы Tj наиболее подходящим методом.
Полученный вектор Lj есть искомые собственные значения.

===Последовательная сложность алгоритма===
Все дальнейшие выкладки верны для наиболее быстрого последовательного варианта выполнения указываемых операций.
*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> и наоборот требует по <math>n^2</math> умножений и сложений.
*Перемножение векторов длины <math>n</math> требует по <math>n</math> умножений и сложений. 
*Поэлементное сложение векторов длины <math>n</math> требует <math>n</math> сложений.
*Умножение вектора длины <math>n</math> на число требует <math>n</math> умножений.
*Нахождение квадратичной нормы вектора длины <math>n</math> требует по <math>n</math> умножений и сложений, а также одну операцию извлечения квадратного корня.
*Вычисление собственных значений матрицы порядка <math>k</math> QR-алгоритмом требует <math>O(k^2)</math> операций, вычисление также и собственных векторов требует примерно <math>6k ^ 3</math>, то есть <math>O(k^3)</math> операций; при использовании метода «Разделяй-и-властвуй» для вычисления собственных значений и векторов аналогичной матрицы в среднем затрачивается <math>O(k^{2})</math> операций.
Таким образом, для выполнения одной итерации метода Ланцоща требуется 1 операция вычисления квадратного корня, <math>n</math> умножений, а также по <math>n ^ 2 + n + 2n + n</math> сложений и умножений, а также суммарно <math>O(k ^ 3)</math> операций, требуемых для поиска собственных значений и собственных векторов матрицы <math>T_{j}</math>. То есть последовательная сложность алгоритма Ланцоша составляет <math>O(n ^ 2) + O(k ^ 3)</math>. Это, очевидно, меньше, чем <math>O(n ^ 3)</math> операций, требуемых в алгоритмах вычисления всех собственных значений произвольных симметричных матриц, в чём и заключается выгода метода Ланцоша.

===Информационный граф===

Информационный граф алгоритма, определяемый в <ref>Параллельные вычисления (Воеводин В.В., Воеводин Вл.В.) - Спб, изд-во "БХВ-Петербург", 2002 [https://parallel.ru/news/bhv_parallelcomputing.html Ознакомиться]</ref> требует следующего замечания: подразумевается, что, например, умножение квадратной матрицы на вектор распараллеливается на <math>n</math> потоков, где <math>n</math> - порядок матрицы, а не на <math>n\log{n}</math> потоков, чего можно было бы достичь, используя суммирование сдваиванием. Это допущение аналогично допущению из статьи [https://algowiki-project.org/ru/%D0%A3%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%BE%D0%B9_%D0%BD%D0%B5%D0%BE%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BD%D0%B0_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80_(%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82) Умножение матрицы на вектор] и Это же допущение будет использовано и при оценке ресурса параллелизма алгоритма. Приводится граф без отображения входных и выходных данных.

[[File:Volkov Lanzcos 1.png|600px|thumb|center|Рис. 1: Граф алгоритма для матрицы А порядка 5 и k = 3. Op - одна итерация алгоритма, Eigen - процедура вычисления собственных значений]]
[[File:Volkov Lanzcos 2.png|600px|thumb|center|Рис. 2: Внутренний граф итерации алгоритма для матрицы A порядка 5. Vector sum - нахождение суммы элементов вектора-поэлементного произведения векторов z и qj. Op - вычитания из z векторов qj и q(j - 1), домноженных на коэффициенты. Norm - вычисление нормы вектора z.]]

===Ресурс параллелизма алгоритма===
Каждая итерация алгоритма Ланцоша выполняется строго последовательно. Однако внутри итерации возможно распараллеливание алгоритма.

*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> требует последовательного выполнения <math>n</math> ярусов умножений и сложений.
*Все остальные операции в рамках одной итерации, ведущие к вычислению матрицы <math>T_{j}</math> выполняются строго последовательно. При этом вычисление значений векторов может быть выполнено за 1 ярус умножений / сложений, а вычисление чисел - за <math>\log{n}</math> таких операций.
*Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма и рассматривается в соответствующей статье.

Таким образом, при классификации по ширине ЯПФ алгоритм обладает линейной сложностью. В случае классификации по высоте ЯПФ алгоритм также имеет линейную сложность.

===Входные и выходные данные алгоритма===
Входные данные: квадратная матрица <math>A</math> ( элементы <math>a_{ij}</math> ), вектор <math>b</math>, число <math>k</math> 
Объём входных данных: <math>n^2 + n + 1</math> 
Выходные данные: вектор <math>L</math>, матрица <math>E</math> ( элементы <math>e_{pq}</math> ) 
Объём выходных данных: <math>k + k * n</math> 

===Свойства алгоритма===
В случае неограниченности ресурсов соотношение последовательной и параллельной сложности алгоритма Ланцоща по сумме всех итераций представляет собой <math>k ^ 3 + k * n ^ 2</math> к <math>X + k * n</math>, где <math>X</math> - параллельная сложность алгоритма, используемого для вычисления собственных значений. В случае использования метода вычисления собственных значений с линейной сложностью при классисифкации по высоте ЯПФ это соотношение будет равно <math>(k ^ 2 + n ^ 2) / (k + n)</math>.

Алгоритм Ланцоша не является полностью детерминированным в том смысле, что возможно выполнение числа итераций алгоритма, меньшего, чем заданное ( из-за того, что вычислены все ненулевые собственные значения матрицы <math>A</math> ).

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

==Программная реализация алгоритма==
===Особенности реализации последователього алгоритма===
===Локальность данных и вычислений===
===Возможные способы и особенности параллельной реализации алгоритма===
===Масштабируемость алгоритма и его реализации===

Для проверки масштабируемости алгоритма из реализации была исключена непосредственно задача поиска собственных значений матрицы <math>T_{j}</math> на каждой итерации, так как это является предметом отдельных статей ([https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:F-morozov/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%BC_QR_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_(4) QR-алгоритм], метод [https://algowiki-project.org/ru/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%C2%AB%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB%D1%8F%D0%B9_%D0%B8_%D0%B2%D0%BB%D0%B0%D1%81%D1%82%D0%B2%D1%83%D0%B9%C2%BB_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_%D1%81%D0%B8%D0%BC%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%BD%D0%BE%D0%B9_%D1%82%D1%80%D0%B5%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B «Разделяй-и-властвуй»], [https://en.wikipedia.org/wiki/Arnoldi_iteration итерации Арнольди] и.т.д.). Таким образом, проверяемая на масштабируемость задача сводится к итерационному вычислению коэффициентов матрицы <math>T_{j}</math>. Матрица <math>A</math> в рассматриваемой реализации хранится построчно и построчно же разделяется между процессорами. Также в целях исключения влияния недетерминированности алгоритма этот процесс изменен так, что при вычислении всех ненулевых собственных значений матрицы <math>A</math> работа алгоритма продолжается над фиктивными данными, пока не будет завершено заранее заданное число итераций. При этом в реализации используется OpenMP для распараллеливания в пределах одного узла.

[[File:Ланцош_масштабы.png|1000px|thumb|center|Рис. 3: Производительность алгоритма для указанных значений размера задачи и числа процессов]]

Набор изменяемых параметров запуска реализации алгоритма и границы значений параметров алгоритма:

*Число MPI процессов [1 : 200]
*Число OpenMP нитей [1 : 4] (Запуск с 1 OpenMP нитью производился только для 1 MPI процесса, ускорение замерялось относительно этого запуска).
*Размерность матрицы [400 : 4000]

Эффективность выполнения реализации алгоритма:

*Минимальная эффективность - <1% (неактуально, так как в исследовании достигнут предел масштабируемости алгоритма).
*Максимальная эффективность - 30.76%

Оценка масштабируемости:

*По числу процессов - при увеличении числа процессов эффективность уменьшается на всей области рассмотренных значений, но не слишком интенсивно. Это связано с небольшим объёмом пересылок данных, реализованных через достаточно эффективные операции редукции.
*По размеру задачи - при увеличении размера задачи эффективность вычислений вначале кратковременно возрастает, но затем начинает относительно равномерно убывать на всей рассматриваемой области.
*По двум направлениям - при рассмотрении увеличения, как вычислительной сложности, так и числа процессов по всей рассмотренной области значений наибольшая эффективность наблюдается при соответствии числа процессов и размера задачи. По этой "диагонали" эффективность вначале кратковременно возрастает, затем начинает убывать.

Интересно, что для разного числа процессоров положительные скачки производительности (зачастую - довольно заметные) имеют место на разных объёмах входных данных.

Далее приводятся графики ускорения программы для разных объёмов входных данных. Ускорение считалось относительно варианта с 1 MPI процессом без дальнейшнего распараллеливания посредством OpenMP. На оси абсцисс отмечается число MPI процессов, число OpenMP нитей во всех случаях равно четырём.

[[File:Speedup_2000.png|600px|thumb|center|Рис. 4: Ускорение для размера задачи 2000х2000]]
[[File:Speedup_3000.png|600px|thumb|center|Рис. 5: Ускорение для размера задачи 3000х3000]]
[[File:Speedup_4000.png|600px|thumb|center|Рис. 6: Ускорение для размера задачи 4000х4000]]

[https://github.com/VolkovNikita94/Lanczos Используемая реализация алгоритма]
Реализация алгоритма гибридная, использует как MPI версии 2.2 (использование MPI_IN_PLACE), так и OpenMP. Указанный код компилировался с помощью компилятора IBM (mpixlcxx_r) с опцией -qsmp=omp (она включает в себя оптимизацию -O2). Реализация алгоритма полностью собственная и не использует встроенные библиотеки. Каждая "quadcore node" - это 1 узел системы BG/P, содержащий 4 микропроцессорных ядра IBM PowerPC 450 c суммарной пиковой производительностью 13.6 GFLOPS на узел и 2 GB общей памяти с пропускной способностью 13.6 GB/sec.

===Динамические характеристики и эффективность реализации алгоритма===
===Выводы для классов архитектур===
===Существующие реализации алгоритма===
Подробный анализ алгоритмов нахождения собственных значений, включая алгоритм Ланцоша, был проведен в <ref>A Survey of Software for Sparse Eigenvalue Problems - V. Hernandez, J. E. Roman, A. Tomas, V. Vidal [http://slepc.upv.es/documentation/reports/str6.pdf Ознакомиться]</ref>. Существует несколько как последовательных, так и параллельных реализаций алгоритма Ланцоша, включенных в программные библиотеки для поиска собственных значений матриц. Свойства этих реализаций можно увидеть в таблицах ниже. Первая таблица — относительно недавние реализации, вторая - «музейные экспонаты». Следует уделить особенное внимание столбцам «тип метода» и «параллелизация». В первом из них значение только N соответствует описанному варианту без реортогонализации, F – полной реортогонализации, P – частичной реортогонализации, S – выборочной реортогонализации. Во втором значние «none» соответствует отсутствию параллельной реализации, M – параллельной реализации посредством MPI, O – параллельной реализации посредством OpenMP. Их приведение целесообразно, так как на практике алгоритм Ланцоша без переортогонализации неустойчив. Также указываются библиотеки, в которых реализованы более глубокие модификации метода Ланцоша, с указанием изменений в графе «тип метода».

{| class="wikitable"
|+Таблица 1 - «современные» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|BLKLAN
|C/Matlab
|2003
|P
|none
|-
|BLZPACK
|F77
|2000, 04/00
|P + S
|M
|-
|IETL
|C++
|2006, 2.2
|N
|none
|-
|SLEPc
|C/F77
|2009, 3.0.0
|All
|M
|-
|TRLAN
|F90
|2006
|Dynamic thick-restart
|M
|-
|PROPACK
|F77/Matlab
|2005, 2.1 / 1.1
|P, finds SVD
|O
|-
|IRBLEIGS
|Matlab
|2000, 1.0
|Indefinitie symmetric
|none
|}

{| class="wikitable"
|+Таблица 2 - «исторические» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|ARPACK
|F77
|1995, 2.1
|Arnoldi iterations, impliicit restart
|M
|-
|ARPACK++
|C++
|1998, 1.1
|Arnoldi iterations, impliicit restart
|none
|-
|LANCZOS
|F77
|1992
|N
|none
|-
|LANZ
|F77
|1991, 1.0
|P
|none
|-
|LASO
|F77
|1983, 2
|S
|none
|-
|NAPACK
|F77
|1987
|N
|none
|-
|QMRPACK
|F77
|1996
|Designed for nonsymmetrical matrices (lookahead)
|none
|-
|SVDPACK
|C/F77
|1992
|P, finds SVD
|none
|-
|Underwood
|F77
|1975
|F, block version
|none
|}

==Литература==

<references \>

Участник:VolkovNikita94/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-17T07:28:26Z

Bashleon:

{{Assignment|ASA}}
{{Assignment}}

Авторы статьи : 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:VolkovNikita94 Волков Н. И. ( группа 623 )] - разделы 1.1 , 1.3 , 1.7 , 1.9 , 2.7 
[https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Bashleon Башлыков. Л. А. ( группа 616 )] - разделы 1.2 , 1.4 
Совместно: 1.5 , 1.6 , 1.8 , 1.10 , 2.4

{{algorithm
| name = Алгоритм Ланцоша для точной арифметики ( без переортогонализации )
| serial_complexity = <math>O(n^2) + O(k^3)</math> - на одну итерацию. <math>O(k * n^2)</math> - суммарно.
| pf_height = <math>O(n)</math>
| pf_width = <math>O(k * n)</math>
| input_data = <math>n^2 + n + 1</math>, при экономии памяти сокращается до <math>\frac{n(n - 1)}{2} + n + 1</math>
| output_data = <math>k</math>, если нужны собственные векторы, то <math>k + k * n</math>
}}

==Свойства и структура алгоритма==
===Общее описание алгоритма===

Метод Ланцоша — процедура, применяемая для нахождения <math>k</math> собственных значений симметричной матрицы произвольного размера путём вычисления их приближений. Суть метода заключается в итеративном построении специальной матрицы <math>T_{j}</math>, а затем вычислении её собственных значений и собственных векторов. Общее описание алгоритма можно найти, например, в книге <ref>Деммель Дж. Вычислительная линейная алгебра. Теория и приложения - М.: Мир, 2001. [http://www.bookvoed.ru/book?id=5252274 Ознакомиться]</ref>.

Здесь мы рассмотрим упрощенный вариант алгоритма Ланцоша, который подразумевает отсутствие влияния ошибок округления на вычислительный процесс. На практике используются модификации алгоритма Ланцоша, обладающие устойчивостью и без этого допущения ( например, алгоритм Ланцоша с полной переортогонализацией ).

===Математическое описание алгоритма===

Математическое описание алгоритма Ланцоща для вычисления собственных значений симметричной матрицы А
требует 1) математического описания метода Ланцоща для построения крыловского подпространства и 2)
математического описания т.н. процедуры Рэлея-Ритца.

==== Метод Ланцоща для построения крыловского подпространства ====

Пусть дано уравнение <math>Ax = b</math>, причём вектор <math>b</math> известен и имеется
способ вычисления <math>Ax</math>. 

Вычислим <math>y_{1} = b</math> , <math>y_{2} = Ab</math>, <math>y_{3} = A^{2}b</math>,...,<math>y_{n} = A^{(n - 1)}b</math>, где <math>n</math> -
порядок матрицы <math>A</math>. Определим матрицу <math>K = [y_{1},...,y_{n}]</math>. 

Тогда <math>AK = [Ay_{1},...,Ay_{n - 1}, Ay_{n}] = [y_{2},...,y_{n},A^n{y_{1}}]</math>.
В предположении, что матрица <math>K</math> - невырождена, можно вычислить вектор <math>c = -K^{-1}A^{ny_{1}}</math>.
Поскольку первые <math>n - 1</math> столбцов в <math>AK</math> совпадают с последними <math>n - 1</math> столбцами в
<math>K</math>, то справедливо: <math>AK = K[e_{2},e_{3},...,e_{n},-c] = KC</math>, то есть <math>K^{-1}AK = C</math>, где <math>C</math> - верхняя хессенбергова матрица. 

Заменим <math>K</math> ортогональной матрицей <math>Q</math> так, что при любом <math>k</math>
линейные оболочки первых <math>k</math> столбцов в <math>K</math> и <math>Q</math> - одно и то же
подпространство. Это подпространство называется крыловским и точно определяется как
<math>\kappa_{k}(A, b)</math> - линейная оболочка векторов <math>b</math>,<math>Ab</math>,...,<math>A^{(k - 1)}b</math>.
Суть алгоритма Ланцоша заключается в вычислении стольких первых столбцов в <math>Q</math>,
сколько необходимо для получения требуемого приближения к решению <math>Ax = b </math> (<math>Ax = {\lambda}x</math>).

Используем QR-разложение матрицы <math>K = QQ</math> 
Тогда <math>K^{-1}AK = (R^{-1}Q^{T})A(QR) = C</math>, откуда <math>Q^{T}AQ = RCR^{-1} = H</math> 

Матрица <math>H</math> является верхней хессенберговой в силу того, что верхней хессенберговой
является матрица <math>C</math>, а матрицы <math>R</math> и <math>R^{-1}</math> - верхние треугольные.

Однако алгоритм Ланцоша подразумевает симметричность матрицы <math>A</math>.
Положим <math>Q = [Q_{k}, Q_{u}]</math>, где <math>Q_{k} = [q_{1},...,q_{k}]</math> и
<math>Q_{u} = [q_{k+1},...,q_{n}]</math>. В итоге получается, что <math>H = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>
Из симметричности <math>A</math>, таким образом, следует симметричность и трехдиагональность матрицы <math>H = T</math>.
Теперь можно вывести две основные формулы, используемые в методе Ланцоша:

*<math>AQ_{j} = \beta_{j - 1}q_{j - 1} + \alpha_{j}q_{j} + \beta_{j}q_{j + 1}</math> - получается приравниванием столбцов <math>j</math> в обеих частях равенства <math>AQ = QT</math>.
*<math>q_{j}^{T}Aq_{j} = \alpha_{j}</math> - получается домножением обеих частей предыдущего соотношения на <math>q_{j}^{T}</math> и учетом ортогональности <math>Q</math>.

==== Процедура Рэлея-Ритца ====

Пусть <math>Q = [Q_{k}, Q_{u}]</math> - произвольная ортогональная матрица порядка <math>n</math>, причём
<math>Q_{k}</math> и <math>Q_{u}</math> имеют размеры <math>nk</math> и <math>n(n - k)</math>.

Пусть <math>T = Q^{T}AQ = [Q_{k},Q_{u}]^{T}A[Q_{k},Q_{u}]</math>. Обратим внимание, что в случае <math>k = 1</math> выражение <math>T_{k} = Q_{k}^{T}AQ_{k}</math> -
отношение Рэлея <math>\rho(Q_{1},A)</math>, то есть число <math>(Q_{1}^{T}AQ_{1}) / (Q_{1}^{T}Q_{1})</math>. Определим теперь суть
процедуры Рэлея-Ритца: 

*Процедура Рэлея-Ритца - интерпретация собственных значений матрицы <math>T = Q^{T}AQ</math> как приближений к собственным значениям матрицы <math>A</math>. Эти приближения называются числами Ритца. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Столбцы матрицы <math>Q_{k}V</math> рассматриваются как приближения к соответствующим собственным векторам и называются векторами Ритца.

Существует несколько важных фактов о процедуре Рэлея-Ритца, характеризующих получаемые приближения собственных значений матрицы <math>A</math>.

*Минимум величины <math>||AQ_{k} - Q_{k}R||_{2}</math> по всем симметричным <math>k^2</math> матрицам <math>R</math> достигается при <math>R = T_{k}</math>. При этом <math>||AQ_{k} - Q_{k}R||_{2} = ||T_{ku}||_{2}</math>. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - спектральное разложение матрицы <math>T_{k}</math>. Минимум величины <math>||AP_{k} - P_{k}D||_{2}</math>, когда <math>P_{k}</math> пробегает множество <math>nk </math> матрицы с ортонормированными столбцами, таких, что <math>span(P_{k}) = span(Q_{k})</math>, а <math>D</math> пробегает множество диагональных <math>k^2</math> матриц также равен <math>||T_{ku}||_{2}</math> и достигается для <math>P_{k} = Q_{k}V</math> и <math>D = \lambda</math>.

Пусть <math>T_{k}</math>, <math>T_{ku}</math>, <math>Q_{k}</math> - те же самые матрицы. Пусть <math>T_{k} = V{\lambda}V^{T}</math> - всё то же спектральное разложение,
причём <math>V = [v_{1},...,v_{k}]</math> - ортогональная матрица, а <math>\lambda = diag(\theta_{1},...,\theta_{k})</math>. Тогда:

* Найдутся <math>k</math> необязательно наибольших собственных значений <math>\alpha_{1},...,\alpha_{k}</math> матрицы <math>A</math>, такие, что <math>|\theta_{i} - \alpha_{i}| <= ||T_{ku}||_{2}</math> для <math>i = 1,...,k</math>. Если <math>Q_{k}</math> вычислена методом Ланцоша,то правая часть этого выражения равняется <math>\beta_{k}</math>, то есть единственному элементу блока <math>T_{ku}</math>, который может быть отличен от нуля. Указанный эдемент находится в правом верхнем углу блока.
* <math>||A(Q_{k}v_{i}) - (Q_{k}v_{i})\theta_{i}||_{2} = ||T_{ku}v_{i}||_{2}</math>. Таким образом, разность между числом Ритца <math>\theta_{j}</math> и некоторым собственным значением <math>\alpha</math> матрицы <math>A</math> не превышает величины <math>||T_{ku}v_{i}||_{2}</math>, которая может быть много меньше, чем <math>||T_{ku}||_{2}</math>. Если матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то эта величина равна <math>\beta_{k}|v_{i}(k)|</math>, где <math>v_{i}(k)</math> - k-ая компонента вектора <math>v_{i}</math>. Таким образом, можно дещево вычислить норму невязки - левой части выражения, не выполняя ни одного умножения вектора на матрицы <math>Q_{k}</math> или <math>A</math>.
* Не имея информации о спектре матрицы <math>T_{u}</math>, нельзя дать какую-либо содержательную оценку для погрешности в векторе Ритца <math>Q_{k}v_{i}</math>. Если известно, что <math>\theta_{j}</math> отделено расстоянием, не меньшим <math>g</math>, от прочих собственных значений матриц <math>T_{k}</math>, <math>T_{u}</math> и матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то угол <math>\theta</math> между <math>Q_{k}v_{i}</math> и точным собственным вектором <math>A</math> можно оценить формулой <math>\frac{1}{2}\sin{2\theta} <= \frac{b_{k}}{g}</math>

В алгоритме Ланцоша из ортонормированных векторов строится матрица <math>Q_{k} = [q_{1},...,q_{k}]</math> и в качестве приближенных собственных значений <math>A</math> принимаются числа Ритца - собственные значения симметричной трёхдиагональной матрицы <math>T_{k} = Q_{k}^{T}AQ_{k}</math>.

===Вычислительное ядро алгоритма===
Вычислительное ядро алгоритма Ланцоща состоит в получении на каждой итерации очередного промежуточного вектора <math>z</math>, получаемого путём умножения исходной матрицы <math>A</math> на вектор Ланцоша <math>q_{j}</math>, полученный на предыдущей итерации.

Также при значениях <math>k</math>, сопоставимых с <math>n</math>, процедура вычисления собственных значений и собственных векторов симметричной трёхдиагональной матрицы по некоторому выбранному алгоритму подразумевает значительный объём расчётов и может считаться вычислительным ядром. Однако на практике метод используется прежде всего при малых <math>k</math>.

===Макроструктура алгоритма===

Метод Ланцоша соединяет метод Ланцоша для построения крыловского подпространства в процедурой Рэлея-Ритца, подразумевающей вычисление собственных значений симметричной трёхдиагональной матрицы. Первая часть алгоритма представляет собой строго последовательные итерации, на каждой из которых вначале строится очередной столбец матрицы <math>Q_{j}</math> из первых <math>j</math> ортонормированных векторов Ланцоша и матрица <math>T_{j} = Q^T_{j}AQ_{j}</math> порядка <math>j</math>. Итерационный процесс завершается, когда <math>j = k</math>. Вторая часть алгоритма представляет собой поиск собственных значений и собственных векторов симметричной трёхдиагональной матрицы <math>T_{j}</math>, что реализуется отдельным алгоритмом, на практике используется QR-алгоритм. 

Особенность методов крыловского подпространства состоит в предположении, что матрица <math>A</math> доступна в виде "черного ящика", а именно подпрограммы, вычисляющей по заданному вектору <math>z</math> произведение <math>y = Az</math> (а также, возможно, произведение <math>y = A^{T}z</math>, если матрица <math>A</math> несимметрична). Другими словами, прямой доступ к элементам матрицы и их изменение не используются, т.к.
*Умножение матрицы на вектор - наиболее дешевая нетривиальная операция, которую можно проделать с разреженной матрицей: в случае разреженной <math>A</math>, содержащей <math>m</math> ненулевых элементов, для матрично-векторного умножения нужны <math>m</math> скалярных умножений и не более <math>m</math> сложений.
*<math>A</math> может быть не представлена в виде матрицы явно, а доступна именно через подпрограмму для вычисления произведений <math>Ax</math>.
Таким образом, как QR-алгоритм поиска собственных значений, собственных векторов матрицы <math>T_{j}</math> и оценки погрешности в них результирующей трехдиагональной матрицы, так и умножение матрицы на вектор внутри каждой итерации могут быть рассмотрены в качестве отдельных макроопераций. Проблемой является то, что именно эти манипуляции порождают основную вычислительную сложность алгоритма. Поскольку матрица, к которой применяется QR-алгоритм, имеет порядок <math>k</math> и на практике бывает мала, сделаем допущение о плотности матрицы <math>A</math>. Тогда умножение этой матрицы на вектор внутри каждой итерации нужно будет реализовывать в рамках самого алгоритма. Еще одним важным замечанием является момент вычисления собственных значений матрицы <math>T_{j}</math>. Её собственные значения, полученные на итерации <math>p</math>, никак не используются на итерации <math>p + 1</math>, поэтому целесообразно вынести эту процедуру за основной цикл. Однако на практике в силу малых размеров матрицы <math>T_{j}</math> вычисление соответствующих величин производится непосредственно в теле основного цикла, что позволяет сразу оценить достигнутую точность вычислений.

===Схема последовательной реализации алгоритма===

Алгоритм итерационный, на каждой итерации выполняется вычисление очередного столбца матрицы <math>Q</math>, а также вычисление элементов очередной пары ( диагонального и околодиагонального ) элементов матрицы <math>T</math> с использованием значений столбца матрицы <math>Q</math>, полученного на предыдущей итерации и значения околодиагонального элемента матрицы <math>T</math> с предыдущей итерации. Вектор <math>z</math> носит вспомогательный характер. Коэффициенты <math>\alpha_{j}</math> соответствуют диагональным элементам матрицы <math>T_{j}</math>, коэффициенты <math>\beta_{j}</math> – наддиагональным и поддиагональным элементам той же матрицы. Далее приводится пример псевдокода. По окончании итераций вычислеяются собственные значения и собственные векторы матрицы <math>T_{j}</math>, что в псевдокоде не отражается ( т.к. это отдельный алгоритм ).

Вычислить столбец q1 матрицы Qk q1 = b / ||b||
q0 - нулевой вектор
beta_0 = 0
foreach (j = 1 .. k )
{
z = A * qj
alpha_j = qj * z
z = z – alpha_j * qj – beta_(j-1) * q(j – 1)
beta_j = ||z||
if ( beta_j == 0 )
{
break // Все ненулевые собственные значения найдены. Выход может быть досрочным.
}
else
{
q(j + 1) = z/beta_j
}
}

Вычислить собственные значения и собственные векторы симметричной трехдиагональной матрицы Tj наиболее подходящим методом.
Полученный вектор Lj есть искомые собственные значения.

===Последовательная сложность алгоритма===
Все дальнейшие выкладки верны для наиболее быстрого последовательного варианта выполнения указываемых операций.
*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> и наоборот требует по <math>n^2</math> умножений и сложений.
*Перемножение векторов длины <math>n</math> требует по <math>n</math> умножений и сложений. 
*Поэлементное сложение векторов длины <math>n</math> требует <math>n</math> сложений.
*Умножение вектора длины <math>n</math> на число требует <math>n</math> умножений.
*Нахождение квадратичной нормы вектора длины <math>n</math> требует по <math>n</math> умножений и сложений, а также одну операцию извлечения квадратного корня.
*Вычисление собственных значений матрицы порядка <math>k</math> QR-алгоритмом требует <math>O(k^2)</math> операций, вычисление также и собственных векторов требует примерно <math>6k ^ 3</math>, то есть <math>O(k^3)</math> операций; при использовании метода «Разделяй-и-властвуй» для вычисления собственных значений и векторов аналогичной матрицы в среднем затрачивается <math>O(k^{2})</math> операций.
Таким образом, для выполнения одной итерации метода Ланцоща требуется 1 операция вычисления квадратного корня, <math>n</math> умножений, а также по <math>n ^ 2 + n + 2n + n</math> сложений и умножений, а также суммарно <math>O(k ^ 3)</math> операций, требуемых для поиска собственных значений и собственных векторов матрицы <math>T_{j}</math>. То есть последовательная сложность алгоритма Ланцоша составляет <math>O(n ^ 2) + O(k ^ 3)</math>. Это, очевидно, меньше, чем <math>O(n ^ 3)</math> операций, требуемых в алгоритмах вычисления всех собственных значений произвольных симметричных матриц, в чём и заключается выгода метода Ланцоша.

===Информационный граф===

Информационный граф алгоритма, определяемый в <ref>Параллельные вычисления (Воеводин В.В., Воеводин Вл.В.) - Спб, изд-во "БХВ-Петербург", 2002 [https://parallel.ru/news/bhv_parallelcomputing.html Ознакомиться]</ref> требует следующего замечания: подразумевается, что, например, умножение квадратной матрицы на вектор распараллеливается на <math>n</math> потоков, где <math>n</math> - порядок матрицы, а не на <math>n\log{n}</math> потоков, чего можно было бы достичь, используя суммирование сдваиванием. Это допущение аналогично допущению из статьи [https://algowiki-project.org/ru/%D0%A3%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%BE%D0%B9_%D0%BD%D0%B5%D0%BE%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BD%D0%B0_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80_(%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82) Умножение матрицы на вектор] и Это же допущение будет использовано и при оценке ресурса параллелизма алгоритма. Приводится граф без отображения входных и выходных данных.

[[File:Volkov Lanzcos 1.png|600px|thumb|center|Рис. 1: Граф алгоритма для матрицы А порядка 5 и k = 3. Op - одна итерация алгоритма, Eigen - процедура вычисления собственных значений]]
[[File:Volkov Lanzcos 2.png|600px|thumb|center|Рис. 2: Внутренний граф итерации алгоритма для матрицы A порядка 5. Vector sum - нахождение суммы элементов вектора-поэлементного произведения векторов z и qj. Op - вычитания из z векторов qj и q(j - 1), домноженных на коэффициенты. Norm - вычисление нормы вектора z.]]

===Ресурс параллелизма алгоритма===
Каждая итерация алгоритма Ланцоша выполняется строго последовательно. Однако внутри итерации возможно распараллеливание алгоритма.

*Умножение квадратной матрицы порядка <math>n</math> на вектор длины <math>n</math> требует последовательного выполнения <math>n</math> ярусов умножений и сложений.
*Все остальные операции в рамках одной итерации, ведущие к вычислению матрицы <math>T_{j}</math> выполняются строго последовательно. При этом вычисление значений векторов может быть выполнено за 1 ярус умножений / сложений, а вычисление чисел - за <math>\log{n}</math> таких операций.
*Ресурс параллелизма алгоритма вычисления собственных значений зависит от используемого алгоритма и рассматривается в соответствующей статье.

Таким образом, при классификации по ширине ЯПФ алгоритм обладает линейной сложностью. В случае классификации по высоте ЯПФ алгоритм также имеет линейную сложность.

===Входные и выходные данные алгоритма===
Входные данные: квадратная матрица <math>A</math> ( элементы <math>a_{ij}</math> ), вектор <math>b</math>, число <math>k</math> 
Объём входных данных: <math>n^2 + n + 1</math> 
Выходные данные: вектор <math>L</math>, матрица <math>E</math> ( элементы <math>e_{pq}</math> ) 
Объём выходных данных: <math>k + k * n</math> 

===Свойства алгоритма===
В случае неограниченности ресурсов соотношение последовательной и параллельной сложности алгоритма Ланцоща по сумме всех итераций представляет собой <math>k ^ 3 + k * n ^ 2</math> к <math>X + k * n</math>, где <math>X</math> - параллельная сложность алгоритма, используемого для вычисления собственных значений. В случае использования метода вычисления собственных значений с линейной сложностью при классисифкации по высоте ЯПФ это соотношение будет равно <math>(k ^ 2 + n ^ 2) / (k + n)</math>.

Алгоритм Ланцоша не является полностью детерминированным в том смысле, что возможно выполнение числа итераций алгоритма, меньшего, чем заданное ( из-за того, что вычислены все ненулевые собственные значения матрицы <math>A</math> ).

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

==Программная реализация алгоритма==
===Особенности реализации последователього алгоритма===
===Локальность данных и вычислений===
===Возможные способы и особенности параллельной реализации алгоритма===
===Масштабируемость алгоритма и его реализации===

Для проверки масштабируемости алгоритма из реализации была исключена непосредственно задача поиска собственных значений матрицы <math>T_{j}</math> на каждой итерации, так как это является предметом отдельных статей ([https://algowiki-project.org/ru/%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:F-morozov/%D0%9D%D0%B0%D1%85%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%BC_QR_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_(4) QR-алгоритм], метод [https://algowiki-project.org/ru/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%C2%AB%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D0%BB%D1%8F%D0%B9_%D0%B8_%D0%B2%D0%BB%D0%B0%D1%81%D1%82%D0%B2%D1%83%D0%B9%C2%BB_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F_%D1%81%D0%BE%D0%B1%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B8_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_%D1%81%D0%B8%D0%BC%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%BD%D0%BE%D0%B9_%D1%82%D1%80%D0%B5%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B «Разделяй-и-властвуй»], [https://en.wikipedia.org/wiki/Arnoldi_iteration итерации Арнольди] и.т.д.). Таким образом, проверяемая на масштабируемость задача сводится к итерационному вычислению коэффициентов матрицы <math>T_{j}</math>. Матрица <math>A</math> в рассматриваемой реализации хранится построчно и построчно же разделяется между процессорами. Также в целях исключения влияния недетерминированности алгоритма этот процесс изменен так, что при вычислении всех ненулевых собственных значений матрицы <math>A</math> работа алгоритма продолжается над фиктивными данными, пока не будет завершено заранее заданное число итераций. При этом в реализации используется OpenMP для распараллеливания в пределах одного узла.

[[File:Ланцош_масштабы.png|1000px|thumb|center|Рис. 3: Производительность алгоритма для указанных значений размера задачи и числа процессов]]

Набор изменяемых параметров запуска реализации алгоритма и границы значений параметров алгоритма:

*Число MPI процессов [1 : 200]
*Число OpenMP нитей [1 : 4] (Запуск с 1 OpenMP нитью производился только для 1 MPI процесса, ускорение замерялось относительно этого запуска).
*Размерность матрицы [400 : 4000]

Эффективность выполнения реализации алгоритма:

*Минимальная эффективность - <1% (неактуально, так как в исследовании достигнут предел масштабируемости алгоритма).
*Максимальная эффективность - 30.76%

Оценка масштабируемости:

*По числу процессов - при увеличении числа процессов эффективность уменьшается на всей области рассмотренных значений, но не слишком интенсивно. Это связано с небольшим объёмом пересылок данных, реализованных через достаточно эффективные операции редукции.
*По размеру задачи - при увеличении размера задачи эффективность вычислений вначале кратковременно возрастает, но затем начинает относительно равномерно убывать на всей рассматриваемой области.
*По двум направлениям - при рассмотрении увеличения, как вычислительной сложности, так и числа процессов по всей рассмотренной области значений наибольшая эффективность наблюдается при соответствии числа процессов и размера задачи. По этой "диагонали" эффективность вначале кратковременно возрастает, затем начинает убывать.

Интересно, что для разного числа процессоров положительные скачки производительности (зачастую - довольно заметные) имеют место на разных объёмах входных данных.

Далее приводятся графики ускорения программы для разных объёмов входных данных. Ускорение считалось относительно варианта с 1 MPI процессом без дальнейшнего распараллеливания посредством OpenMP. На оси абсцисс отмечается число MPI процессов, число OpenMP нитей во всех случаях равно четырём.

[https://github.com/VolkovNikita94/Lanczos Используемая реализация алгоритма]
Реализация алгоритма гибридная, использует как MPI версии 2.2 (использование MPI_IN_PLACE), так и OpenMP. Указанный код компилировался с помощью компилятора IBM (mpixlcxx_r) с опцией -qsmp=omp (она включает в себя оптимизацию -O2). Реализация алгоритма полностью собственная и не использует встроенные библиотеки. Каждая "quadcore node" - это 1 узел системы BG/P, содержащий 4 микропроцессорных ядра IBM PowerPC 450 c суммарной пиковой производительностью 13.6 GFLOPS на узел и 2 GB общей памяти с пропускной способностью 13.6 GB/sec.

===Динамические характеристики и эффективность реализации алгоритма===
===Выводы для классов архитектур===
===Существующие реализации алгоритма===
Подробный анализ алгоритмов нахождения собственных значений, включая алгоритм Ланцоша, был проведен в <ref>A Survey of Software for Sparse Eigenvalue Problems - V. Hernandez, J. E. Roman, A. Tomas, V. Vidal [http://slepc.upv.es/documentation/reports/str6.pdf Ознакомиться]</ref>. Существует несколько как последовательных, так и параллельных реализаций алгоритма Ланцоша, включенных в программные библиотеки для поиска собственных значений матриц. Свойства этих реализаций можно увидеть в таблицах ниже. Первая таблица — относительно недавние реализации, вторая - «музейные экспонаты». Следует уделить особенное внимание столбцам «тип метода» и «параллелизация». В первом из них значение только N соответствует описанному варианту без реортогонализации, F – полной реортогонализации, P – частичной реортогонализации, S – выборочной реортогонализации. Во втором значние «none» соответствует отсутствию параллельной реализации, M – параллельной реализации посредством MPI, O – параллельной реализации посредством OpenMP. Их приведение целесообразно, так как на практике алгоритм Ланцоша без переортогонализации неустойчив. Также указываются библиотеки, в которых реализованы более глубокие модификации метода Ланцоша, с указанием изменений в графе «тип метода».

{| class="wikitable"
|+Таблица 1 - «современные» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|BLKLAN
|C/Matlab
|2003
|P
|none
|-
|BLZPACK
|F77
|2000, 04/00
|P + S
|M
|-
|IETL
|C++
|2006, 2.2
|N
|none
|-
|SLEPc
|C/F77
|2009, 3.0.0
|All
|M
|-
|TRLAN
|F90
|2006
|Dynamic thick-restart
|M
|-
|PROPACK
|F77/Matlab
|2005, 2.1 / 1.1
|P, finds SVD
|O
|-
|IRBLEIGS
|Matlab
|2000, 1.0
|Indefinitie symmetric
|none
|}

{| class="wikitable"
|+Таблица 2 - «исторические» реализации.
!Название библиотеки
!Язык программирования
!Дата появления, версия библиотки
!Тип метода
!Параллелизация
|-
|ARPACK
|F77
|1995, 2.1
|Arnoldi iterations, impliicit restart
|M
|-
|ARPACK++
|C++
|1998, 1.1
|Arnoldi iterations, impliicit restart
|none
|-
|LANCZOS
|F77
|1992
|N
|none
|-
|LANZ
|F77
|1991, 1.0
|P
|none
|-
|LASO
|F77
|1983, 2
|S
|none
|-
|NAPACK
|F77
|1987
|N
|none
|-
|QMRPACK
|F77
|1996
|Designed for nonsymmetrical matrices (lookahead)
|none
|-
|SVDPACK
|C/F77
|1992
|P, finds SVD
|none
|-
|Underwood
|F77
|1975
|F, block version
|none
|}

==Литература==

<references \>

Участник:Bashleon

2016-10-21T20:16:06Z

Bashleon: /* Макроструктура - пункт 1.4 */

Вариант 4
Башлыков Леонид Александрович
616

Математическое описание алгоритма Ланцоща для вычисления собственных значений симметричной матрицы А
требует 1) математического описания метода Ланцоща для построения крыловского подпространства и 2)
математического описания т.н. процедуры Рэлея-Ритца.

==== Метод Ланцоща для построения крыловского подпространства ====

Пусть дано уравнение <math>A * x = b</math>, причём вектор <math>b</math> известен и имеется
способ вычисления <math>A * x</math>. 

Вычислим <math>y_{1} = b</math> , <math>y_{2} = A * b</math>, <math>y_{3} = A^2 * b</math>,...,<math>y_{n} = A^(n - 1) * b</math>, где <math>n</math> -
порядок матрицы <math>A</math>. Определим матрицу <math>K = [y_{1},...,y_{n}]</math>. 

Тогда <math>A * K = [A * y_{1},...,A * y_{n - 1}, A * y_{n}] = [y_{2},...,y_{n},A^n * y_{1}]</math>.
В предположении, что матрица <math>K</math> - невырождена, можно вычислить вектор <math>c = -K^-1 * A^n * y_{1}</math>.
Поскольку первые <math>n - 1</math> столбцов в <math>A * K</math> совпадают с последними <math>n - 1</math> столбцами в
<math>K</math>, то справедливо: <math>A * K = K * [e_{2},e_{3},...,e_{n},-c] = K * C</math>, то есть <math>K^-1 * A * K = C</math>, где <math>C</math> - верхняя хессенбергова матрица. 

Заменим <math>K</math> ортогональной матрицей <math>Q</math> так, что при любом <math>k</math>
линейные оболочки первых <math>k</math> столбцов в <math>K</math> и <math>Q</math> - одно и то же
подпространство. Это подпространство называется крыловским и точно определяется как
<math>\kappa_{k}(A, b)</math> - линейная оболочка векторов <math>b</math>,<math>A * b</math>,...,<math>A^(k - 1) * b</math>.
Суть алгоритма Ланцоша заключается в вычислении стольких первых столбцов в <math>Q</math>,
сколько необходимо для получения требуемого приближения к решению <math>A * x = b</math> (<math>A * x = \lambda * x</math>).

Используем QR-разложение матрицы <math>K = Q * Q</math> 
Тогда <math>K^-1 * A * K = (R^-1 * Q^T) * A * (Q * R) = C</math>, откуда <math>Q^T * A * Q = R * C * R^-1 = H</math> 

Матрица <math>H</math> является верхней хессенберговой в силу того, что верхней хессенберговой
является матрица <math>C</math>, а матрицы <math>R</math> и <math>R^-1</math> - верхние треугольные.

Однако алгоритм Ланцоша подразумевает симметричность матрицы <math>A</math>.
Положим <math>Q = [Q_{k}, Q_{u}]</math>, где <math>Q_{k} = [q_{1},...,q_{k}]</math> и
<math>Q_{u} = [q_{k+1},...,q_{n}]</math>. В итоге получается, что <math>H = Q^T * A * Q = [Q_{k},Q_{u}]^T * A * [Q_{k},Q_{u}]</math>
Из симметричности <math>A</math>, таким образом, следует симметричность и трехдиагональность матрицы <math>H = T</math>.
Теперь можно вывести две основные формулы, используемые в методе Ланцоша:

*<math>A * Q_{j} = \beta_{j - 1} * q_{j - 1} + \alpha_{j} * q_{j} + \beta_{j} * q_{j + 1}</math> - получается приравниванием столбцов <math>j</math> в обеих частях равенства <math>A * Q = Q * T</math>.
*<math>q_{j}^T * A * q_{j} = \alpha_{j}</math> - получается домножением обеих частей предыдущего соотношения на <math>q_{j}^T</math> и учетом ортогональности <math>Q</math>.

==== Процедура Рэлея-Ритца ====

Пусть <math>Q = [Q_{k}, Q_{u}]</math> - произвольная ортогональная матрица порядка <math>n</math>, причём
<math>Q_{k}</math> и <math>Q_{u}</math> имеют размеры <math>n * k</math> и <math>n * (n - k)</math>.

Пусть <math>T = Q^T * A * Q = [Q_{k},Q_{u}]^T * A * [Q_{k},Q_{u}]</math>. Обратим внимание, что в случае <math>k = 1</math> выражение <math>T_{k} = Q_{k}^T * A * Q_{k}</math> -
отношение Рэлея <math>\rho(Q_{1},A)</math>, то есть число <math>(Q_{1}^T * A * Q_{1}) / (Q_{1}^T * Q_{1})</math>. Определим теперь суть
процедуры Рэлея-Ритца: 

*Процедура Рэлея-Ритца - интерпретация собственных значений матрицы <math>T = Q^T * A * Q</math> как приближений к собственным значениям матрицы <math>A</math>. Эти приближения называются числами Ритца. Пусть <math>T_{k} = V * \lambda * V^T</math> - спектральное разложение матрицы <math>T_{k}</math>. Столбцы матрицы <math>Q_{k} * V</math> рассматриваются как приближения к соответствующим собственным векторам и называются векторами Ритца.

Существует несколько важных фактов о процедуре Рэлея-Ритца, характеризующих получаемые приближения собственных значений матрицы <math>A</math>.

*Минимум величины <math>||A * Q_{k} - Q_{k} * R||_{2}</math> по всем симметричным <math>k * k</math> матрицам <math>R</math> достигается при <math>R = T_{k}</math>. При этом <math>||A * Q_{k} - Q_{k} * R||_{2} = ||T_{ku}||_{2}</math>. Пусть <math>T_{k} = V * \lambda * V^T</math> - спектральное разложение матрицы <math>T_{k}</math>. Минимум величины <math>||A * P_{k} - P_{k} * D||_{2}</math>, когда <math>P_{k}</math> пробегает множество <math>n * k </math> матрицы с ортонормированными столбцами, таких, что <math>span(P_{k}) = span(Q_{k})</math>, а <math>D</math> пробегает множество диагональных <math>k * k</math> матриц также равен <math>||T_{ku}||_{2}</math> и достигается для <math>P_{k} = Q_{k} * V</math> и <math>D = \lambda</math>.

Пусть <math>T_{k}</math>, <math>T_{ku}</math>, <math>Q_{k}</math> - те же самые матрицы. Пусть <math>T_{k} = V * \lambda * V^T</math> - всё то же спектральное разложение,
причём <math>V = [v_{1},...,v_{k}]</math> - ортогональная матрица, а <math>\lambda = diag(\theta_{1},...,\theta_{k})</math>. Тогда:

* Найдутся <math>k</math> необязательно наибольших собственных значений <math>\alpha_{1},...,\alpha_{k}</math> матрицы <math>A</math>, такие, что <math>|\theta_{i} - \alpha_{i}| <= ||T_{ku}||_{2}</math> для <math>i = 1,...,k</math>. Если <math>Q_{k}</math> вычислена методом Ланцоша,то правая часть этого выражения равняется <math>\beta_{k}</math>, то есть единственному элементу блока <math>T_{ku}</math>, который может быть отличен от нуля. Указанный эдемент находится в правом верхнем углу блока.
* <math>||A * (Q_{k} * v_{i}) - (Q_{k} * v_{i}) * \theta_{i}||_{2} = ||T_{ku} * v_{i}||_{2}</math>. Таким образом, разность между числом Ритца <math>\theta_{j}</math> и некоторым собственным значением <math>\alpha</math> матрицы <math>A</math> не превышает величины <math>||T_{ku} * v_{i}||_{2}</math>, которая может быть много меньше, чем <math>||T_{ku}||_{2}</math>. Если матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то эта величина равна <math>\beta_{k} * |v_{i}(k)|</math>, где <math>v_{i}(k)</math> - k-ая компонента вектора <math>v_{i}</math>. Таким образом, можно дещево вычислить норму невязки - левой части выражения, не выполняя ни одного умножения вектора на матрицы <math>Q_{k}</math> или <math>A</math>.
* Не имея информации о спектре матрицы <math>T_{u}</math>, нельзя дать какую-либо содержательную оценку для погрешности в векторе Ритца <math>Q_{k} * v_{i}</math>. Если известно, что <math>\theta_{j}</math> отделено расстоянием, не меньшим <math>g</math>, от прочих собственных значений матриц <math>T_{k}</math>, <math>T_{u}</math> и матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то угол <math>\theta</math> между <math>Q_{k} * v_{i}</math> и точным собственным вектором <math>A</math> можно оценить формулой <math>\frac{1}{2} * \sin{2 * \theta} <= \frac{b_{k}}{g}</math>

В алгоритме Ланцоша из ортонормированных векторов строится матрица <math>Q_{k} = [q_{1},...,q_{k}]</math> и в качестве приближенных собственных значений <math>A</math> принимаются числа Ритца - собственные значения симметричной трёхдиагональной матрицы <math>T_{k} = Q_{k}^T * A * Q_{k}</math>.

====Макроструктура - пункт 1.4====

Метод Ланцоша соединяет метод Ланцоша для построения крыловского подпространства в процедурой Рэлея-Ритца, подразумевающей вычисление собственных значений симметричной трёхдиагональной матрицы. Первая часть алгоритма представляет собой строго последовательные итерации, на каждой из которых вначале строится очередной столбец матрицы <math>Q_{j}</math> из первых <math>j</math> ортонормированных векторов Ланцоша и матрица <math>T_{j} = Q^T_{j} * A * Q_{j}</math> порядка <math>j</math>. Итерационный процесс завершается, когда <math>j = k</math>. Вторая часть алгоритма представляет собой поиск собственных значений и собственных векторов симметричной трёхдиагональной матрицы <math>T_{j}</math>, что реализуется отдельным алгоритмом, на практике используется QR-алгоритм. 
Особенность методов крыловского подпространства состоит в предположении, что матрица <math>A</math> доступна в виде "черного ящика", а именно подпрограммы, вычисляющей по заданному вектору <math>z</math> произведение <math>y = A * z</math> (а также, возможно, произведение <math>y = A^T * z</math>, если матрица <math>A</math> несимметрична). Другими словами, прямой доступ к элементам матрицы и их изменение не используются, т.к.
*Умножение матрицы на вектор - наиболее дешевая нетривиальная операция, которую можно проделать с разреженной матрицей: в случае разреженной <math>A</math>, содержащей <math>m</math> ненулевых элементов, для матрично-векторного умножения нужны <math>m</math> скалярных умножений и не более <math>m</math> сложений.
*<math>A</math> может быть не представлена в виде матрицы явно, а доступна именно через подпрограмму для вычисления произведений <math>A * x</math>.
Таким образом, как QR-алгоритм поиска собственных значений, собственных векторов матрицы <math>T_{j}</math> и оценки погрешности в них результирующей трехдиагональной матрицы, так и умножение матрицы на вектор внутри каждой итерации могут быть рассмотрены в качестве отдельных макроопераций. Проблемой является то, что именно эти манипуляции порождают основную вычислительную сложность алгоритма. Поскольку матрица, к которой применяется QR-алгоритм, имеет порядок <math>k</math> и на практике бывает мала, сделаем допущение о плотности матрицы <math>A</math>. Тогда умножение этой матрицы на вектор внутри каждой итерации нужно будет реализовывать в рамках самого алгоритма. Еще одним важным замечанием является момент вычисления собственных значений матрицы <math>T_{j}</math>. Её собственные значения, полученные на итерации <math>p</math>, никак не используются на итерации <math>p + 1</math>, поэтому целесообразно вынести эту процедуру за основной цикл. Однако на практике в силу малых размеров матрицы <math>T_{j}</math> вычисление соответствующих величин производится непосредственно в теле основного цикла, что позволяет сразу оценить достигнутую точность вычислений.

Участник:Bashleon

2016-10-21T20:15:33Z

Bashleon:

Вариант 4
Башлыков Леонид Александрович
616

Математическое описание алгоритма Ланцоща для вычисления собственных значений симметричной матрицы А
требует 1) математического описания метода Ланцоща для построения крыловского подпространства и 2)
математического описания т.н. процедуры Рэлея-Ритца.

==== Метод Ланцоща для построения крыловского подпространства ====

Пусть дано уравнение <math>A * x = b</math>, причём вектор <math>b</math> известен и имеется
способ вычисления <math>A * x</math>. 

Вычислим <math>y_{1} = b</math> , <math>y_{2} = A * b</math>, <math>y_{3} = A^2 * b</math>,...,<math>y_{n} = A^(n - 1) * b</math>, где <math>n</math> -
порядок матрицы <math>A</math>. Определим матрицу <math>K = [y_{1},...,y_{n}]</math>. 

Тогда <math>A * K = [A * y_{1},...,A * y_{n - 1}, A * y_{n}] = [y_{2},...,y_{n},A^n * y_{1}]</math>.
В предположении, что матрица <math>K</math> - невырождена, можно вычислить вектор <math>c = -K^-1 * A^n * y_{1}</math>.
Поскольку первые <math>n - 1</math> столбцов в <math>A * K</math> совпадают с последними <math>n - 1</math> столбцами в
<math>K</math>, то справедливо: <math>A * K = K * [e_{2},e_{3},...,e_{n},-c] = K * C</math>, то есть <math>K^-1 * A * K = C</math>, где <math>C</math> - верхняя хессенбергова матрица. 

Заменим <math>K</math> ортогональной матрицей <math>Q</math> так, что при любом <math>k</math>
линейные оболочки первых <math>k</math> столбцов в <math>K</math> и <math>Q</math> - одно и то же
подпространство. Это подпространство называется крыловским и точно определяется как
<math>\kappa_{k}(A, b)</math> - линейная оболочка векторов <math>b</math>,<math>A * b</math>,...,<math>A^(k - 1) * b</math>.
Суть алгоритма Ланцоша заключается в вычислении стольких первых столбцов в <math>Q</math>,
сколько необходимо для получения требуемого приближения к решению <math>A * x = b</math> (<math>A * x = \lambda * x</math>).

Используем QR-разложение матрицы <math>K = Q * Q</math> 
Тогда <math>K^-1 * A * K = (R^-1 * Q^T) * A * (Q * R) = C</math>, откуда <math>Q^T * A * Q = R * C * R^-1 = H</math> 

Матрица <math>H</math> является верхней хессенберговой в силу того, что верхней хессенберговой
является матрица <math>C</math>, а матрицы <math>R</math> и <math>R^-1</math> - верхние треугольные.

Однако алгоритм Ланцоша подразумевает симметричность матрицы <math>A</math>.
Положим <math>Q = [Q_{k}, Q_{u}]</math>, где <math>Q_{k} = [q_{1},...,q_{k}]</math> и
<math>Q_{u} = [q_{k+1},...,q_{n}]</math>. В итоге получается, что <math>H = Q^T * A * Q = [Q_{k},Q_{u}]^T * A * [Q_{k},Q_{u}]</math>
Из симметричности <math>A</math>, таким образом, следует симметричность и трехдиагональность матрицы <math>H = T</math>.
Теперь можно вывести две основные формулы, используемые в методе Ланцоша:

*<math>A * Q_{j} = \beta_{j - 1} * q_{j - 1} + \alpha_{j} * q_{j} + \beta_{j} * q_{j + 1}</math> - получается приравниванием столбцов <math>j</math> в обеих частях равенства <math>A * Q = Q * T</math>.
*<math>q_{j}^T * A * q_{j} = \alpha_{j}</math> - получается домножением обеих частей предыдущего соотношения на <math>q_{j}^T</math> и учетом ортогональности <math>Q</math>.

==== Процедура Рэлея-Ритца ====

Пусть <math>Q = [Q_{k}, Q_{u}]</math> - произвольная ортогональная матрица порядка <math>n</math>, причём
<math>Q_{k}</math> и <math>Q_{u}</math> имеют размеры <math>n * k</math> и <math>n * (n - k)</math>.

Пусть <math>T = Q^T * A * Q = [Q_{k},Q_{u}]^T * A * [Q_{k},Q_{u}]</math>. Обратим внимание, что в случае <math>k = 1</math> выражение <math>T_{k} = Q_{k}^T * A * Q_{k}</math> -
отношение Рэлея <math>\rho(Q_{1},A)</math>, то есть число <math>(Q_{1}^T * A * Q_{1}) / (Q_{1}^T * Q_{1})</math>. Определим теперь суть
процедуры Рэлея-Ритца: 

*Процедура Рэлея-Ритца - интерпретация собственных значений матрицы <math>T = Q^T * A * Q</math> как приближений к собственным значениям матрицы <math>A</math>. Эти приближения называются числами Ритца. Пусть <math>T_{k} = V * \lambda * V^T</math> - спектральное разложение матрицы <math>T_{k}</math>. Столбцы матрицы <math>Q_{k} * V</math> рассматриваются как приближения к соответствующим собственным векторам и называются векторами Ритца.

Существует несколько важных фактов о процедуре Рэлея-Ритца, характеризующих получаемые приближения собственных значений матрицы <math>A</math>.

*Минимум величины <math>||A * Q_{k} - Q_{k} * R||_{2}</math> по всем симметричным <math>k * k</math> матрицам <math>R</math> достигается при <math>R = T_{k}</math>. При этом <math>||A * Q_{k} - Q_{k} * R||_{2} = ||T_{ku}||_{2}</math>. Пусть <math>T_{k} = V * \lambda * V^T</math> - спектральное разложение матрицы <math>T_{k}</math>. Минимум величины <math>||A * P_{k} - P_{k} * D||_{2}</math>, когда <math>P_{k}</math> пробегает множество <math>n * k </math> матрицы с ортонормированными столбцами, таких, что <math>span(P_{k}) = span(Q_{k})</math>, а <math>D</math> пробегает множество диагональных <math>k * k</math> матриц также равен <math>||T_{ku}||_{2}</math> и достигается для <math>P_{k} = Q_{k} * V</math> и <math>D = \lambda</math>.

Пусть <math>T_{k}</math>, <math>T_{ku}</math>, <math>Q_{k}</math> - те же самые матрицы. Пусть <math>T_{k} = V * \lambda * V^T</math> - всё то же спектральное разложение,
причём <math>V = [v_{1},...,v_{k}]</math> - ортогональная матрица, а <math>\lambda = diag(\theta_{1},...,\theta_{k})</math>. Тогда:

* Найдутся <math>k</math> необязательно наибольших собственных значений <math>\alpha_{1},...,\alpha_{k}</math> матрицы <math>A</math>, такие, что <math>|\theta_{i} - \alpha_{i}| <= ||T_{ku}||_{2}</math> для <math>i = 1,...,k</math>. Если <math>Q_{k}</math> вычислена методом Ланцоша,то правая часть этого выражения равняется <math>\beta_{k}</math>, то есть единственному элементу блока <math>T_{ku}</math>, который может быть отличен от нуля. Указанный эдемент находится в правом верхнем углу блока.
* <math>||A * (Q_{k} * v_{i}) - (Q_{k} * v_{i}) * \theta_{i}||_{2} = ||T_{ku} * v_{i}||_{2}</math>. Таким образом, разность между числом Ритца <math>\theta_{j}</math> и некоторым собственным значением <math>\alpha</math> матрицы <math>A</math> не превышает величины <math>||T_{ku} * v_{i}||_{2}</math>, которая может быть много меньше, чем <math>||T_{ku}||_{2}</math>. Если матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то эта величина равна <math>\beta_{k} * |v_{i}(k)|</math>, где <math>v_{i}(k)</math> - k-ая компонента вектора <math>v_{i}</math>. Таким образом, можно дещево вычислить норму невязки - левой части выражения, не выполняя ни одного умножения вектора на матрицы <math>Q_{k}</math> или <math>A</math>.
* Не имея информации о спектре матрицы <math>T_{u}</math>, нельзя дать какую-либо содержательную оценку для погрешности в векторе Ритца <math>Q_{k} * v_{i}</math>. Если известно, что <math>\theta_{j}</math> отделено расстоянием, не меньшим <math>g</math>, от прочих собственных значений матриц <math>T_{k}</math>, <math>T_{u}</math> и матрица <math>Q_{k}</math> вычислена алгоритмом Ланцоша, то угол <math>\theta</math> между <math>Q_{k} * v_{i}</math> и точным собственным вектором <math>A</math> можно оценить формулой <math>\frac{1}{2} * \sin{2 * \theta} <= \frac{b_{k}}{g}</math>

В алгоритме Ланцоша из ортонормированных векторов строится матрица <math>Q_{k} = [q_{1},...,q_{k}]</math> и в качестве приближенных собственных значений <math>A</math> принимаются числа Ритца - собственные значения симметричной трёхдиагональной матрицы <math>T_{k} = Q_{k}^T * A * Q_{k}</math>.

====Макроструктура - пункт 1.4====

Метод Ланцоша соединяет метод Ланцоша для построения крыловского подпространства в процедурой Рэлея-Ритца, подразумевающей вычисление собственных значений симметричной трёхдиагональной матрицы. Первая часть алгоритма представляет собой строго последовательные итерации, на каждой из которых вначале строится очередной столбец матрицы <math>Q_{j}</math> из первых <math>j</math> ортонормированных векторов Ланцоша и матрица <math>T_{j} = Q^T_{j} * A * Q_{j}</math> порядка <math>j</math>. Итерационный процесс завершается, когда <math>j = k</math>. Вторая часть алгоритма представляет собой поиск собственных значений и собственных векторов симметричной трёхдиагональной матрицы <math>T_{j}</math>, что реализуется отдельным алгоритмом, на практике это обычно бывает QR-алгоритм. 
Особенность методов крыловского подпространства состоит в предположении, что матрица <math>A</math> доступна в виде "черного ящика", а именно подпрограммы, вычисляющей по заданному вектору <math>z</math> произведение <math>y = A * z</math> (а также, возможно, произведение <math>y = A^T * z</math>, если матрица <math>A</math> несимметрична). Другими словами, прямой доступ к элементам матрицы и их изменение не используются, т.к.
*Умножение матрицы на вектор - наиболее дешевая нетривиальная операция, которую можно проделать с разреженной матрицей: в случае разреженной <math>A</math>, содержащей <math>m</math> ненулевых элементов, для матрично-векторного умножения нужны <math>m</math> скалярных умножений и не более <math>m</math> сложений.
*<math>A</math> может быть не представлена в виде матрицы явно, а доступна именно через подпрограмму для вычисления произведений <math>A * x</math>.
Таким образом, как QR-алгоритм поиска собственных значений, собственных векторов матрицы <math>T_{j}</math> и оценки погрешности в них результирующей трехдиагональной матрицы, так и умножение матрицы на вектор внутри каждой итерации могут быть рассмотрены в качестве отдельных макроопераций. Проблемой является то, что именно эти манипуляции порождают основную вычислительную сложность алгоритма. Поскольку матрица, к которой применяется QR-алгоритм, имеет порядок <math>k</math> и на практике бывает мала, сделаем допущение о плотности матрицы <math>A</math>. Тогда умножение этой матрицы на вектор внутри каждой итерации нужно будет реализовывать в рамках самого алгоритма. Еще одним важным замечанием является момент вычисления собственных значений матрицы <math>T_{j}</math>. Её собственные значения, полученные на итерации <math>p</math>, никак не используются на итерации <math>p + 1</math>, поэтому целесообразно вынести эту процедуру за основной цикл. Однако на практике в силу малых размеров матрицы <math>T_{j}</math> вычисление соответствующих величин производится непосредственно в теле основного цикла, что позволяет сразу оценить достигнутую точность вычислений.

Участник:Bashleon

2016-10-21T18:43:17Z

Bashleon:

Участник:Bashleon

2016-10-21T18:05:48Z

Bashleon:

Участник:Bashleon

2016-10-21T14:43:01Z

Bashleon: Новая страница: «Вариант 4 Башлыков Леонид Александрович 616»

Вариант 4
Башлыков Леонид Александрович
616