Алговики - Вклад [ru]

Обсуждение участника:KAKTUZ

2016-12-07T16:21:17Z

A.Freeman: /* Замечания */

== Статья [[Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:29, 25 октября 2016 (MSK)
** Нужно не перечислить макрооперации, а показать структуру алгоритма на макроуровне. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 10:17, 1 ноября 2016 (MSK)
* В разделе 1.7 нужно дать словесные пояснения о том, как соотносятся графы на рис.1-3. На рис.1-2 осталась не пояснена вершина, обозначенная жёлтым треугольником. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* В разделе 1.10 должна быть оценка вычислительной мощности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:07, 16 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* В разделе 2.4 не приведена использованная в экспериментах реализация алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* "Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%" - имеется в виду, наверно, эффективность? [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)

=== Замечания ===
* странно упоминание Фролова А.А. в качестве одного из авторов
** я, Фролов А.А., являюсь одним из авторов описания.
** я, Заспа А.Ю., подтверждаю, что выполнял задание вместе с Фроловым А.А.
* 1.10 "первыми появляются с.з. с максимальной величиной по модулю. метод особенно хорошо подходит для вычисления с.з. находящихся на краях спектра." Верно, но допишите как можно получить минимальные с.з.
** Если имеется ввиду обращение матрицы, то оно не имеет смысла в случае данного алгоритма, так как имеет большую сложность.
* 2.1-2.3,2.6 отсутствуют...
** в соответствии с заданием, требуется оформить пункты 1.1-10, 2.4, 2.7.
* 2.4.1 - зачем пункт без оптимизации ??? лучше *брать его чем жалеть полученные данные.
** исправлено
* 2.4.3 переместить перед 2.4.2
** исправлено
* Рис.6 - что отложено по оси Х? по крайней мере не то что написано
** исправлено ошибочное описание
* одно из наиболее качественных описаний, если бы не отсутствие некоторых пунктов

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-05T09:44:52Z

A.Freeman: /* Масштабируемость реализации алгоритма */

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Масштабируемость алгоритма и его реализации|2.4]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

==== Масштабируемость реализации алгоритма ====

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* аргументы компилятора: -std=c11 -Ofast

Набор и границы значений изменяемых параметров реализации алгоритма:

* число процессоров [32 : 256] с шагом 16;
* размер матрицы [5000 : 200000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон эффективности реализации алгоритма:

* минимальная эффективность реализации 1.92%;
* максимальная эффективность реализации 59.47%.

График полученного распределения эффективности:

[[file:Lanczos Without Orthogonalization Eff2Dist.png|thumb|center|600px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Распределение производительности.]]

На следующих рисунках приведены графики производительности и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf2.png|thumb|center|600px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff2.png|thumb|center|600px|Рисунок 6. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Средняя эффективность для матриц с размером больше 25000 составила 52.7%.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-12-05T09:44:23Z

A.Freeman: /* Масштабируемость реализации алгоритма */

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Масштабируемость алгоритма и его реализации|2.4]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

==== Масштабируемость реализации алгоритма ====

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* аргументы компилятора: -std=c11 -Ofast

Набор и границы значений изменяемых параметров реализации алгоритма:

* число процессоров [32 : 256] с шагом 16;
* размер матрицы [5000 : 200000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон эффективности реализации алгоритма:

* минимальная эффективность реализации 1.92%;
* максимальная эффективность реализации 59.47%.

График полученного распределения эффективности:

[[file:Lanczos Without Orthogonalization Eff2Dist.png|thumb|center|600px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Распределение производительности.]]

На следующих рисунках приведены графики производительности и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf2.png|thumb|center|600px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff2.png|thumb|center|600px|Рисунок 6. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Средняя эффективность для матриц, размером больше 25000, составила 52.7%.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Обсуждение участника:KAKTUZ

2016-12-01T19:51:32Z

A.Freeman: /* Статья Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации) */

== Статья [[Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:29, 25 октября 2016 (MSK)
** Нужно не перечислить макрооперации, а показать структуру алгоритма на макроуровне. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 10:17, 1 ноября 2016 (MSK)
* В разделе 1.7 нужно дать словесные пояснения о том, как соотносятся графы на рис.1-3. На рис.1-2 осталась не пояснена вершина, обозначенная жёлтым треугольником. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* В разделе 1.10 должна быть оценка вычислительной мощности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:07, 16 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* В разделе 2.4 не приведена использованная в экспериментах реализация алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* "Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%" - имеется в виду, наверно, эффективность? [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)

=== Замечания ===
* странно упоминание Фролова А.А. в качестве одного из авторов
** я, Фролов А.А., являюсь одним из авторов описания.
** я, Заспа А.Ю., подтверждаю, что выполнял задание вместе с Фроловым А.А.
* 1.10 "первыми появляются с.з. с максимальной величиной по модулю. метод особенно хорошо подходит для вычисления с.з. находящихся на краях спектра." Верно, но допишите как можно получить минимальные с.з.
* 2.1-2.3,2.6 отсутствуют...
** в соответствии с заданием, требуется оформить пункты 1.1-10, 2.4, 2.7.
* 2.4.1 - зачем пункт без оптимизации ??? лучше *брать его чем жалеть полученные данные.
** исправлено
* 2.4.3 переместить перед 2.4.2
** исправлено
* Рис.6 - что отложено по оси Х? по крайней мере не то что написано
** исправлено ошибочное описание
* одно из наиболее качественных описаний, если бы не отсутствие некоторых пунктов

Участник:A.Freeman

2016-11-29T12:54:54Z

A.Freeman:

Фролов Александр Алексеевич, кафедра информационной безопасности, МГУ им. М.В. Ломоносова.

Обсуждение участника:KAKTUZ

2016-11-29T12:52:38Z

A.Freeman: /* Замечания */

== Статья [[Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:29, 25 октября 2016 (MSK)
** Нужно не перечислить макрооперации, а показать структуру алгоритма на макроуровне. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 10:17, 1 ноября 2016 (MSK)
* В разделе 1.7 нужно дать словесные пояснения о том, как соотносятся графы на рис.1-3. На рис.1-2 осталась не пояснена вершина, обозначенная жёлтым треугольником. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* В разделе 1.10 должна быть оценка вычислительной мощности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:07, 16 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* В разделе 2.4 не приведена использованная в экспериментах реализация алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* "Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%" - имеется в виду, наверно, эффективность? [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)

=== Замечания ===
* странно упоминание Фролова А.А. в качестве одного из авторов
** я, Фролов А.А., являюсь одним из авторов описания. Ваш К.О.
* 1.10 "первыми появляются с.з. с максимальной величиной по модулю. метод особенно хорошо подходит для вычисления с.з. находящихся на краях спектра." Верно, но допишите как можно получить минимальные с.з.
* 2.1-2.3,2.6 отсутствуют...
** в соответствии с заданием, требуется оформить пункты 1.1-10, 2.4, 2.7.
* 2.4.1 - зачем пункт без оптимизации ??? лучше *брать его чем жалеть полученные данные.
** исправлено
* 2.4.3 переместить перед 2.4.2
** исправлено
* Рис.6 - что отложено по оси Х? по крайней мере не то что написано
** исправлено ошибочное описание
* одно из наиболее качественных описаний, если бы не отсутствие некоторых пунктов

Обсуждение участника:KAKTUZ

2016-11-29T12:48:44Z

A.Freeman: /* Замечания */

== Статья [[Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:29, 25 октября 2016 (MSK)
** Нужно не перечислить макрооперации, а показать структуру алгоритма на макроуровне. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 10:17, 1 ноября 2016 (MSK)
* В разделе 1.7 нужно дать словесные пояснения о том, как соотносятся графы на рис.1-3. На рис.1-2 осталась не пояснена вершина, обозначенная жёлтым треугольником. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* В разделе 1.10 должна быть оценка вычислительной мощности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:07, 16 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* В разделе 2.4 не приведена использованная в экспериментах реализация алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* "Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%" - имеется в виду, наверно, эффективность? [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)

=== Замечания ===
* странно упоминание Фролова А.А. в качестве одного из авторов
** я, Фролов А.А., являюсь одним из авторов описания. Ваш К.О.
* 1.10 "первыми появляются с.з. с максимальной величиной по модулю. метод особенно хорошо подходит для вычисления с.з. находящихся на краях спектра." Верно, но допишите как можно получить минимальные с.з.
* 2.1-2.3,2.6 отсутствуют...
* 2.4.1 - зачем пункт без оптимизации ??? лучше *брать его чем жалеть полученные данные.
* 2.4.3 переместить перед 2.4.2
* Рис.6 - что отложено по оси Х? по крайней мере не то что написано
* одно из наиболее качественных описаний, если бы не отсутствие некоторых пунктов

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-29T09:55:22Z

A.Freeman: /* Масштабируемость алгоритма и его реализации */

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Масштабируемость алгоритма и его реализации|2.4]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

==== Масштабируемость реализации алгоритма ====

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* аргументы компилятора: -std=c11 -Ofast

Набор и границы значений изменяемых параметров реализации алгоритма:

* число процессоров [32 : 256] с шагом 16;
* размер матрицы [5000 : 200000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон эффективности реализации алгоритма:

* минимальная эффективность реализации 1.92%;
* максимальная эффективность реализации 59.47%.

График полученного распределения эффективности:

[[file:Lanczos Without Orthogonalization Eff2Dist.png|thumb|center|600px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Распределение производительности.]]

На следующих рисунках приведены графики производительности и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf2.png|thumb|center|600px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff2.png|thumb|center|600px|Рисунок 6. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Средняя эффективность для значений размеров матриц больше 25000 составила 52.7%.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-19T10:57:13Z

A.Freeman: /* Масштабируемость реализации алгоритма с включенной оптимизацией */

{{Assignment}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Масштабируемость алгоритма и его реализации|2.4]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с оптимизацией компилятора и без.

==== Масштабируемость реализации алгоритма без оптимизаций ====

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* аргументы компилятора: -std=c11

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная эффективность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная эффективность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.

==== Масштабируемость реализации алгоритма с включенной оптимизацией ====

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* аргументы компилятора: -std=c11 -Ofast

Набор и границы значений изменяемых параметров реализации алгоритма:

* число процессоров [32 : 256] с шагом 16;
* размер матрицы [5000 : 200000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон эффективности реализации алгоритма:

* минимальная эффективность реализации 1.92%;
* максимальная эффективность реализации 59.47%.

График полученного распределения эффективности:

[[file:Lanczos Without Orthogonalization Eff2Dist.png|thumb|center|600px|Рисунок 6. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

На следующих рисунках приведены графики производительности и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf2.png|thumb|center|600px|Рисунок 7. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff2.png|thumb|center|600px|Рисунок 8. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

При включении оптимизации эффективность и производительность значительно возросли, при этом средняя эффективность для значений размеров матриц больше 25000 составила 52.7%.

==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-19T10:52:10Z

A.Freeman: /* Масштабируемость реализации алгоритма с оптимизацией */

{{Assignment}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Масштабируемость алгоритма и его реализации|2.4]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с оптимизацией компилятора и без.

==== Масштабируемость реализации алгоритма без оптимизаций ====

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* аргументы компилятора: -std=c11

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная эффективность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная эффективность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.

==== Масштабируемость реализации алгоритма с включенной оптимизацией ====

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* аргументы компилятора: -std=c11 -Ofast

Набор и границы значений изменяемых параметров реализации алгоритма:

* число процессоров [32 : 256] с шагом 16;
* размер матрицы [5000 : 200000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон эффективности реализации алгоритма:

* минимальная эффективность реализации 1.92%;
* максимальная эффективность реализации 59.47%.

График полученного распределения эффективности:

[[file:Lanczos Without Orthogonalization Eff2Dist.png|thumb|center|700px|Рисунок 6. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

На следующих рисунках приведены графики производительности и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf2.png|thumb|center|700px|Рисунок 7. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff2.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

При включении оптимизации эффективность и производительность значительно возросли, при этом средняя эффективность для значений размеров матриц больше 25000 составила 52.7%.

==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-19T10:51:40Z

A.Freeman: /* Масштабируемость алгоритма и его реализации */

{{Assignment}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Масштабируемость алгоритма и его реализации|2.4]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета] с оптимизацией компилятора и без.

==== Масштабируемость реализации алгоритма без оптимизаций ====

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* аргументы компилятора: -std=c11

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная эффективность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная эффективность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.

==== Масштабируемость реализации алгоритма с оптимизацией ====

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* аргументы компилятора: -std=c11 -Ofast

Набор и границы значений изменяемых параметров реализации алгоритма:

* число процессоров [32 : 256] с шагом 16;
* размер матрицы [5000 : 200000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон эффективности реализации алгоритма:

* минимальная эффективность реализации 1.92%;
* максимальная эффективность реализации 59.47%.

График полученного распределения эффективности:

[[file:Lanczos Without Orthogonalization Eff2Dist.png|thumb|center|700px|Рисунок 6. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]

На следующих рисунках приведены графики производительности и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf2.png|thumb|center|700px|Рисунок 7. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff2.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

При включении оптимизации эффективность и производительность значительно возросли, при этом средняя эффективность для значений размеров матриц больше 25000 составила 52.7%.

==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T21:11:19Z

A.Freeman: /* Масштабируемость реализации алгоритма */

{{Assignment}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Масштабируемость алгоритма и его реализации|2.4]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Сборка осуществлялась со следующими параметрами:

* gcc-5.2.0
* openmpi-1.8.4
* mpicc main.c -o out

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная эффективность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная эффективность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.

==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T18:14:10Z

A.Freeman:

{{Assignment}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Масштабируемость алгоритма и его реализации|2.4]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная эффективность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная эффективность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.
==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T18:12:43Z

A.Freeman: Отмена правки 18102, сделанной участником ASA (обс.)

{{Assignment}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная эффективность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная эффективность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.
==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T18:10:24Z

A.Freeman: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость реализации алгоритма ====
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная эффективность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная эффективность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.
==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-18T18:07:59Z

A.Freeman: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная производительность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.
==== Реализация на языке C ====
[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-17T17:55:40Z

A.Freeman: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная производительность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Файл:Lanczos Without Orthogonalization Perf.png

2016-11-17T17:32:43Z

A.Freeman: Производительность реализации Алгоритма Ланцоша без переортагонализации.

Производительность реализации Алгоритма Ланцоша без переортагонализации.

Файл:Lanczos Without Orthogonalization Eff.png

2016-11-17T17:31:35Z

A.Freeman: Эффективность реализации Алгоритма Ланцоша без переортагонализации.

Эффективность реализации Алгоритма Ланцоша без переортагонализации.

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T11:47:01Z

A.Freeman: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T11:40:13Z

A.Freeman: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k << n</math>, вычислительная мощность примерно равна <math>2k</math>.

В случае хранения половины исходной матрицы матрица мощность равна <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T11:38:13Z

A.Freeman: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма вычисления коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k << n</math>, вычислительная мощность примерно равна <math>2k</math>.

В случае хранения половины исходной матрицы матрица мощность равна <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T11:35:14Z

A.Freeman: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+kn+k+1}</math>, при <math>k << n</math>, вычислительная мощность примерно равна <math>2k</math>.

В случае хранения половины исходной матрицы матрица мощность равна <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+kn+k+1}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-31T14:47:14Z

A.Freeman: /* Информационный граф */

{{Assignment}}
{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-31T14:42:08Z

A.Freeman: /* Информационный граф */

{{Assignment}}
{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-31T11:53:13Z

A.Freeman: Отмена правки 13960, сделанной участником ASA (обс.)

{{Assignment}}
{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-31T11:34:22Z

A.Freeman: /* Информационный граф */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-31T11:33:47Z

A.Freeman: /* Информационный граф */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="left"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|left|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-31T11:07:57Z

A.Freeman: /* Информационный граф */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|720px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-29T03:57:32Z

A.Freeman: /* Информационный граф */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|500px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|500px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|[[Файл:Линейный_оператор.png|620px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]
|}

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman

2016-10-20T16:26:02Z

A.Freeman: Создана пустая страница

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-18T10:06:02Z

A.Freeman:

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-16T23:05:15Z

A.Freeman:

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-16T22:02:12Z

A.Freeman: /* Информационный граф */

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-16T21:59:23Z

A.Freeman: /* Информационный граф */

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-16T21:45:10Z

A.Freeman: /* Информационный граф */

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-16T18:50:15Z

A.Freeman: /* Последовательная сложность алгоритма */

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-16T18:49:20Z

A.Freeman:

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-16T18:32:31Z

A.Freeman: /* Свойства алгоритма */

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T23:34:48Z

A.Freeman:

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T23:33:16Z

A.Freeman:

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T23:30:38Z

A.Freeman: /* Последовательная сложность алгоритма */

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T23:29:31Z

A.Freeman: /* Последовательная сложность алгоритма */

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T22:46:17Z

A.Freeman:

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T22:45:43Z

A.Freeman: /* Свойства алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k + kn</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]], [[Участник:A.Freeman|Фролов А.А.]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** скалярное произведение двух векторов:
*** ярус умножений с шириной <math>n</math>
*** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n}{2}</math> (блок вычисления суммы n элементов)
** ярус извлечения квадратного корня
* ярус делений с шириной <math>n</math> (нормирование вектора)

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* <math>\log{n} + 1</math> ярусов вычисления скалярного произведения с шириной <math>n</math> (скалярное произведение двух векторов)
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** <math>\log{n} + 1</math> ярусов вычисления скалярного произведения с шириной <math>n</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* ярус <math>n</math> операций деления (нормирование вектора, может отсутствовать на последней итерации)

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T22:44:54Z

A.Freeman: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k + kn</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]], [[Участник:A.Freeman|Фролов А.А.]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** скалярное произведение двух векторов:
*** ярус умножений с шириной <math>n</math>
*** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n}{2}</math> (блок вычисления суммы n элементов)
** ярус извлечения квадратного корня
* ярус делений с шириной <math>n</math> (нормирование вектора)

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* <math>\log{n} + 1</math> ярусов вычисления скалярного произведения с шириной <math>n</math> (скалярное произведение двух векторов)
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** <math>\log{n} + 1</math> ярусов вычисления скалярного произведения с шириной <math>n</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* ярус <math>n</math> операций деления (нормирование вектора, может отсутствовать на последней итерации)

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является квадратичным: <math>\frac{kn^2}{k}</math>.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T22:28:35Z

A.Freeman: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k + kn</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]], [[Участник:A.Freeman|Фролов А.А.]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Алгоритм Ланцоша в параллельной форме состоит из инициализации и <math>k</math> итераций. Инициализации состоит из следующих операций:
* вычисление нормы:
** скалярное произведение двух векторов:
*** ярус умножений с шириной <math>n</math>
*** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n}{2}</math> (блок вычисления суммы n элементов)
** ярус извлечения квадратного корня
* ярус делений с шириной <math>n</math> (нормирование вектора)

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* <math>\log{n} + 1</math> ярусов вычисления скалярного произведения с шириной <math>n</math> (скалярное произведение двух векторов)
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** <math>\log{n} + 1</math> ярусов вычисления скалярного произведения с шириной <math>n</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* ярус <math>n</math> операций деления (нормирование вектора, может отсутствовать на последней итерации)

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является квадратичным: <math>\frac{kn^2}{k}</math>.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T22:14:11Z

A.Freeman: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k + kn</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]], [[Участник:A.Freeman|Фролов А.А.]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Алгоритм Ланцоша в параллельной форме состоит из инициализации и <math>k</math> итераций. Инициализации состоит из следующих ярусов:
* ярус с <math>n</math> умножений
* ярус с <math>n-1</math> сложений
* ярус с вычислением квадратного корня
* ярус <math>n</math> делений

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* скалярное произведение двух векторов:
** ярус умножений с шириной <math>n</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n}{2}</math> (блок вычисления суммы n элементов)
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** <math>\log{n} + 1</math> ярусов вычисления скалярного произведения с шириной <math>n</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* нормирование вектора:
** ярус деления, содержащий <math>n</math> операций, может отсутствовать на последней итерации

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является квадратичным: <math>\frac{kn^2}{k}</math>.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T21:50:08Z

A.Freeman: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k + kn</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]], [[Участник:A.Freeman|Фролов А.А.]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации и <math>k</math> итераций. Инициализации состоит из следующих ярусов:
* ярус с <math>n</math> умножений
* ярус с <math>n-1</math> сложений
* ярус с вычислением квадратного корня
* ярус <math>n</math> делений

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>n/2, n/4, ..., 1</math>.

Итерационная часть алгоритма состоит из следующих ярусов:
* 4 яруса умножений с максимальной шириной <math>n^2</math>
* 3 блока вычислений сумм <math>n</math> элементов, состоящих из <math>\log n</math> ярусов и наибольшей шириной <math>\frac{n^2}{2}</math>
* ярус из двух последовательных вычитаний с шириной <math>n</math>
* ярус извлечения квадратного корня с единичным вычислением
* ярус деления, содержащий <math>n</math> операций, может отсутствовать на последней итерации

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является квадратичным: <math>\frac{kn^2}{k}</math>.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T21:46:13Z

A.Freeman: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k + kn</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]], [[Участник:A.Freeman|Фролов А.А.]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации и <math>k</math> итераций. Инициализации состоит из следующих ярусов:
* ярус с <math>n</math> умножений
* ярус с <math>n-1</math> сложений
* ярус с вычислением квадратного корня
* ярус <math>n</math> делений

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>n/2, n/4, ..., 1</math>.

Итерационная часть алгоритма состоит из следующих ярусов:
* 4 яруса умножений с шириной ярусов <math>n^2, n, 2n, n</math>
* 3 блока вычислений сумм <math>n</math> элементов, состоящих из <math>\log n</math> ярусов и наибольшей шириной для каждого блока <math>\frac{n^2}{2}, \frac{n}{2}, \frac{n}{2}</math>
* ярус из двух последовательных вычитаний с шириной <math>n</math>
* ярус извлечения квадратного корня с единичным вычислением
* ярус деления, содержащий <math>n</math> операций, может отсутствовать на последней итерации

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является квадратичным: <math>\frac{kn^2}{k}</math>.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==