Алговики - Вклад [ru]

Обсуждение участника:KAKTUZ

2016-11-29T20:04:13Z

KAKTUZ:

== Статья [[Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)]] ==

=== Замечания по тексту ===
* В разделе 1.4 кроме выделения макроопераций требуется показать и их взаимосвязь. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 17:29, 25 октября 2016 (MSK)
** Нужно не перечислить макрооперации, а показать структуру алгоритма на макроуровне. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 10:17, 1 ноября 2016 (MSK)
* В разделе 1.7 нужно дать словесные пояснения о том, как соотносятся графы на рис.1-3. На рис.1-2 осталась не пояснена вершина, обозначенная жёлтым треугольником. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* В разделе 1.10 должна быть оценка вычислительной мощности алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 16:39, 31 октября 2016 (MSK)
* Не заполнен раздел 2.4 описания. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 15:07, 16 ноября 2016 (MSK)
* В разделе 2.4 не приведены все параметры запуска теста - какой компилятор, с какими опциями использовался, какие версии библиотек, на каких узлах проводился запуск и т.д. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* В разделе 2.4 не приведена использованная в экспериментах реализация алгоритма. [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)
* "Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%" - имеется в виду, наверно, эффективность? [[Участник:ASA|Александр Сергеевич Антонов]] ([[Обсуждение участника:ASA|обсуждение]]) 14:00, 18 ноября 2016 (MSK)

=== Замечания ===
* странно упоминание Фролова А.А. в качестве одного из авторов
** я, Фролов А.А., являюсь одним из авторов описания. Ваш К.О.
** а я Заспа А.Ю., подтверждаю, что выполнял задание вместе со своим другом Фроловым А.А.
* 1.10 "первыми появляются с.з. с максимальной величиной по модулю. метод особенно хорошо подходит для вычисления с.з. находящихся на краях спектра." Верно, но допишите как можно получить минимальные с.з.
* 2.1-2.3,2.6 отсутствуют...
** в соответствии с заданием, требуется оформить пункты 1.1-10, 2.4, 2.7.
* 2.4.1 - зачем пункт без оптимизации ??? лучше *брать его чем жалеть полученные данные.
** исправлено
* 2.4.3 переместить перед 2.4.2
** исправлено
* Рис.6 - что отложено по оси Х? по крайней мере не то что написано
** исправлено ошибочное описание
* одно из наиболее качественных описаний, если бы не отсутствие некоторых пунктов

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-17T20:34:01Z

KAKTUZ:

{{Assignment}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная производительность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.

[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-17T20:32:00Z

KAKTUZ: Отмена правки 17633, сделанной участником ASA (обс.)

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная производительность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.

[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-17T20:31:05Z

KAKTUZ: /* Масштабируемость алгоритма и его реализации */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===
Проведём исследование масштабируемости параллельной реализации алгоритма Ланцоша без переортогонализации согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов" [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [64 : 224] с шагом 16 / 32;
* размер матрицы [25000 : 150000] с шагом 5000.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 4,55%;
* максимальная эффективность реализации 11,17%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности данной реализации в зависимости от изменяемых параметров запуска.
{|align="center"
|-valign="top"
|[[file:Lanczos Without Orthogonalization Perf.png|thumb|center|700px|Рисунок 4. Параллельная реализация алгоритма Ланцоша. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
|[[file:Lanczos Without Orthogonalization Eff.png|thumb|center|700px|Рисунок 5. Параллельная реализация алгоритма Ланцоша. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]
|}

Как видно из графиков, производительность линейно зависит от количества процессоров, при этом минимальная производительность наблюдается на матрицах размером 25000. Для всех последующих размеров минимальная производительность составила 8.39% с попаданием большинства значений в интервал 10.5%-11%.

[https://github.com/xrstalker/lanczos Исследованная параллельная реализация на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-15T15:54:50Z

KAKTUZ: /* Последовательная сложность алгоритма */

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения задачи собственных значений трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-15T15:44:45Z

KAKTUZ: /* Последовательная сложность алгоритма */

{{Assignment|ASA}}

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T12:25:31Z

KAKTUZ:

{{Assignment}}
{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации. В разделе [[#Информационный граф|1.7]] можно наглядно увидеть как передаются данные между этими макрооперациями.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T12:13:12Z

KAKTUZ:

{{Assignment}}
{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Вычислительная мощность алгоритма нахождения коэффициентов <math>\alpha_i,\beta_i</math> без экономии памяти состовляет <math>\frac{k(2n^2+8n-1)+3n}{n^2+2k}</math>, при <math>k \ll n</math>, вычислительная мощность приблизительно равна <math>2k</math>.

В случае хранения половины исходной матрицы получаем соотношношение <math>\frac{k(2n^2+8n-1)+3n}{n(n+1)/2+2k}</math>, что приблизительно равно <math>4k</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T11:19:53Z

KAKTUZ: /* Информационный граф */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф макрооперации "умножение матрицы на вектор" без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T11:14:51Z

KAKTUZ: /* Информационный граф */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция скалярного умножения векторов, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T11:12:46Z

KAKTUZ: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того, после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T11:11:59Z

KAKTUZ:

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы <math>A</math> размера <math>n \times n</math> на вектор <math>q_i</math>. Эта операция и будет самой ресурсозатратной на каждой итерации. Результаты этой макрооперации будут использованы затем в скалярном произведении векторов и в линейной комбинации из 3 векторов. После этого результат линейной комбинации векторов необходимо нормировать. Для этого можно разбить эту процедуру на вычисление нормы вектора и деление вектора на получившееся число. Кроме того после завершения итераций необходимо вычислить собственные вектора и собственные значения полученной матрицы. Данная операция не конкретизируется алгоритмом, и может быть выполнена любым способом. Поэтому удобнее её представить в виде макрооперации.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-11-01T10:55:02Z

KAKTUZ: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===
Для удобства понимания алгоритма можно выделить следующие макрооперации:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

На каждой итерации будет вычисляться умножение матрицы

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор, 
<math>\nabla</math> — условие преждевременного выхода, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|}
[[Файл:Линейный_оператор.png|600px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-29T12:10:01Z

KAKTUZ: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.<ref>Деммель Д. Вычислительная линейная алгебра</ref>

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|500px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|500px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|[[Файл:Линейный_оператор.png|620px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]
|}

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-29T11:37:41Z

KAKTUZ: /* Схема реализации последовательного алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_j^2}</math> #Считаем норму вектора <math>z</math>.

<math>i.5</math> Проверка равенства <math>\beta_i == 0</math> # Если норма оказалась равной нулю, то завершаем итерации и переходим к вычислению собственных векторов и собственных значений полученной матрицы. В обратном случае, продолжаем выполнения итераций.

<math>i.6\, q_{i+1_j} = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n</math> #Нормируем вектор <math>z</math>.

<math>i.7\,</math> Если выполнили <math>k</math> итераций, то завершаем выполнение итераций, переходим к следующему шагу. Иначе начинаем последующую итерацию цикла.

<math>4.</math> Вычисляем собственные значения и собственные вектора полученной матрицы <math>T_k</math>.

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|500px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|500px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|[[Файл:Линейный_оператор.png|620px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]
|}

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-29T11:22:00Z

KAKTUZ: /* Схема реализации последовательного алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы

<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.

<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:

<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.

<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>z</math>.

<math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.

<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}</math> #Считаем норму вектора <math>z</math>.

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|500px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|500px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|[[Файл:Линейный_оператор.png|620px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]
|}

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-29T11:18:55Z

KAKTUZ: /* Схема реализации последовательного алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:
<math>1.\, \beta_0 = 0,\; q_0 = 0</math> #Инициализируются константы
<math>2.\, \|b\|_2 = \sqrt{\sum\limits_{j=1}^{n} b_j^2}</math> #Вычисляем норму вектора начального приближения.
<math>3.\, q_{1_{j}} = \frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots\,, n</math> #Нормализуем вектор начального приближения.

Начинаются итерации цикла, которых не больше чем <math>k</math>. На <math>i</math>-й итерации производятся следующие вычисления:
<math>i.1\, z_j = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\,\dots\,, n</math> #Считаем результат применения линейного оператора <math>A</math> к вектору <math>q_i</math>.
<math>i.2\, \alpha_i = \sum\limits_{j=1}^{n}q_{i_j} z_j</math> #Получаем результат скалярного произведения векторов <math>q_i</math> и <math>i.3\, z_j = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\,\dots\,, n</math> #Вычисляем линейную комбинацию векторов.
<math>i.4\, \beta_i = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}</math> #Считаем норму вектора <math>z</math>.

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|500px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|500px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, 
<math>/</math> — операция деления, 
<math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, 
<math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, 
<math>\mathsf{Out}</math> — выходные результат.]]
|[[Файл:Линейный_оператор.png|620px|thumb|center|Рисунок 3. Граф линейного оператора без отображения входных и выходных данных. 
<math>*</math> — операция умножения двух коэффициентов, 
<math>+</math> — операция сложения.]]
|}

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-28T22:00:08Z

KAKTUZ: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>.

После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.

На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, <math>/</math> — операция деления, <math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, <math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, <math>/</math> — операция деления, <math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, <math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, <math>\mathsf{Out}</math> — выходные результат.]]
|}

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-28T21:59:24Z

KAKTUZ: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k \log{n})</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n (n + 1)}{2}+1</math>
| output_data = <math>k(n+1)</math>
}}
Основные авторы описания: [[Участник:KAKTUZ|Заспа А.Ю.]] ([[#Общее описание алгоритма|1.1]], [[#Математическое описание алгоритма|1.2]], [[#Вычислительное ядро алгоритма|1.3]], [[#Макроструктура алгоритма|1.4]], [[#Схема реализации последовательного алгоритма|1.5]], [[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]]), [[Участник:A.Freeman|Фролов А.А.]] ([[#Последовательная сложность алгоритма|1.6]], [[#Информационный граф|1.7]], [[#Ресурс параллелизма алгоритма|1.8]], [[#Входные и выходные данные алгоритма|1.9]], [[#Свойства алгоритма|1.10]], [[#Существующие реализации|2.7]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году<ref>Lanczos, C. "An iteration method for the solution of the eigenvalue problem of linear differential and integral operators", J. Res. Nat’l Bur. Std. 45, 255-282 (1950).</ref>. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой<ref>Ojalvo, I.U. and Newman, M., "Vibration modes of large structures by an automatic matrix-reduction method", AIAA J., 8 (7), 1234–1239 (1970).</ref>. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.
До начала первой итерации нормируется вектор начального приближения <math>q_1 = \frac{b}{\|b\|_2}</math>. Затем задаются константы <math>\beta_0 = 0,\; q_0 = 0 </math>. После выполнения данных действий начинаются итерации алгоритма. Которых будет не больше чем <math>k</math>. В ходе итераций постепенно формируется матрица <math>T_k</math> из <math>\alpha_i</math>-x и <math>\beta_i</math>-х.
На <math>i</math>-й итерации происходят следующие вычисления. Вначале вычисляется произведение матрицы на вектор <math>z = Aq_i</math>. Затем считается скалярное произведение <math>\alpha_i = q^T_i z</math> и значение сохраняется как элемент формируемой матрицы. После этого необходимо произвести вычисление линейной комбинации векторов <math>z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}</math>. Норму полученного вектора запишем как элемент матрицы <math>\beta_i = \|z\|_2</math>. Если <math>\beta_i</math> оказалась равной нулю, то больше никаких итераций в алгоритме не производят, сразу переходят к вычислению собственных значений и собственных векторов. Иначе, в конце итерации считают <math>q_{i+1} = \frac{z}{\beta_i}</math> и переходят к следующей итерации.

После всех итераций необходимо вычислить собственные значения и собственные вектора матрицы <math>T_k</math>.

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор. Состоит из операций умножения вектора на число и сложения векторов.
* скалярное произведение векторов.
* линейная комбинация векторов. Состоит из умножений вектора на число и сложений векторов.
* получение нормы вектора. Состоит из скалярного произведения векторов, вычисления квадратного корня.
* деление вектора на число.
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации состоит из инициализации, <math>k</math> итераций и нахождения собственных значений и векторов трехдиагональной симметричной матрицы порядка <math>k</math>.

Инициализация состоит из следующих операций:
* вычисление нормы:
** <math>n^2</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* <math>n</math> операций делений (нормирование)
Каждая из <math>k</math> итераций состоит из:
* умножение матрицы на вектор:
** <math>n^2</math> умножений
** <math>n(n-1)</math> сложений
* скалярное произведение двух векторов
** <math>n</math> умножений
** <math>n-1</math> сложение
* вычисление линейной комбинации векторов:
** <math>2n</math> умножений
** <math>2n</math> вычитаний
* норма вектора:
** <math>n</math> операций умножения
** <math>n-1</math> операций сложений
** извлечение квадратного корня
* нормирование вектора:
** <math>n</math> операций деления

Итого (без учета решения трехдиагональной матрицы):
* <math> k(n^2 + 4n) + n </math> умножений,
* <math> k(n^2+3n-2) + n-1</math> сложений/вычитаний,
* <math> kn + n </math> делений,
* <math> k + 1 </math> вычислений квадратного корня.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===
{|align="center"
|-valign="top"
|[[Файл:Ланцош без переортогонализации 1.png|600px|thumb|center|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, <math>/</math> — операция деления, <math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, <math>\mathsf{Ax}</math> — линейный оператор.]]
|[[Файл:Ланцош без переортогонализации 2.png|600px|thumb|center|Рисунок 2. Граф алгоритма с отображением входных и выходных данных. 
<math>\|x\|</math> — макрооперация взятия нормы, <math>/</math> — операция деления, <math>\cdot </math> — операция умножения, 
<math>\mathsf{F}</math> — вычисление линейной комбинации векторов, <math>\mathsf{Ax}</math> — линейный операторя, 
<math>\mathsf{In}</math> — входные данные, <math>\mathsf{Out}</math> — выходные результат.]]
|}

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные''':
симметричная матрица <math>A</math> (элементы <math>a_{ij}, i \geq j</math>), число <math>k</math>.

'''Объём входных данных''':
<math>\frac{n (n + 1)}{2} + 1</math> (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы, единица относится к параметру <math>k</math>).

'''Выходные данные''':
по <math>k</math> приближений собственных значений и собственных векторов.

'''Объём выходных данных''':
<math>k+kn</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является субквадратичным: <math>\frac{kn^2}{k \log{n}}</math>.

Алгоритм Ланцоша без переортогонализации не является детерминированным (возможно выполнение меньшего числа итераций алгоритма), в случае если все собственные значения уже вычислены.

Важное свойство метода Ланцоша состоит в том, что первыми в матрице <math>T_{j}</math> появляются собственные значения с максимальной величиной по модулю. Таким образом, метод особенно хорошо подходит для вычисления собственных значений матрицы <math>A</math>, находящихся на краях её спектра.

== Программная реализация ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации ===

Реализация в проекте IETL<ref>http://www.comp-phys.org/software/ietl/lanczos.html</ref>

Реализация в проекте ARPACK <ref>http://www.caam.rice.edu/software/ARPACK/</ref>

== Ссылки ==

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-28T20:49:44Z

KAKTUZ: /* Макроструктура алгоритма */

Файл:Ланцош без переортогонализации 1.png

2016-10-16T21:10:37Z

KAKTUZ: Информационный граф алгоритма Ланцоша без переортогонализации

Информационный граф алгоритма Ланцоша без переортогонализации

Файл:Ланцощ без переортогонализации 1.png

2016-10-16T21:08:21Z

KAKTUZ: KAKTUZ загрузил новую версию Файл:Ланцощ без переортогонализации 1.png

Информационный граф алгоритма Ланцоша без переортогонализации

Файл:Ланцощ без переортогонализации 1.png

2016-10-16T21:07:20Z

KAKTUZ: Информационный граф алгоритма Ланцоша без переортогонализации

Информационный граф алгоритма Ланцоша без переортогонализации

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T23:18:37Z

KAKTUZ: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:A.Freeman| А.А.Фролов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

'''Исходные данные''': симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор,
* скалярное произведение векторов,
* умножение вектора на число,
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

Алгоритм Ланцоша в параллельной форме состоит из инициализации, <math>k</math> итераций и вычисления собственных значений матрицы <math>T_k</math>, рассмотрение которого выходит за рамки данной статьи.

Заметим, что вычисление суммы <math>n</math> элементов имеет высоту <math>\log n</math> и линейную ширину ярусов <math>\frac{n}{2}, \frac{n}{4}, ... , 1</math>.

Инициализации состоит из следующих операций:
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* деление вектора на число (нормирование вектора):
** ярус <math>n</math> операций деления

Итерационная часть алгоритма состоит из следующих операций:
* умножение матрицы на число:
** ярус умножений с шириной <math>n^2</math>
** <math>\log n</math> ярусов с наибольшей шириной <math>\frac{n^2}{2}</math> (блок вычисления n сумм n элементов)
* вычисление скалярного произведения двух векторов:
** ярус умножений шириной <math>n</math>
** <math>\log{n}</math> ярусов сложений с наибольшей шириной <math>\frac{n}{2}</math>
* вычисление линейной комбинации векторов:
** ярус умножений шириной <math>2n</math>
** два яруса сложений шириной <math>n</math>
* вычисление нормы:
** вычисление скалярного произведения вектора самого на себя:
*** ярус умножений шириной <math>n</math>
*** <math>\log{n}</math> ярусов сложений с максимальной шириной <math>\frac{n}{2}</math>
** ярус извлечения квадратного корня с единичным вычислением
* проверка на выход из цикла
* деление вектора на число (нормирование вектора, может отсутствовать на последней итерации):
** ярус <math>n</math> операций деления

Таким образом, в параллельном варианте основную долю времени будут занимать операции сложения при умножении матрицы на вектор.
При классификации по высоте ЯПФ Алгоритм Ланцоша относится к алгоритмам со сложностью <math>O(k \log n)</math>. При классификации по ширине ЯПФ его сложность будет <math>O(n^2)</math>.

=== Входные и выходные данные алгоритма ===

TBD

=== Свойства алгоритма ===

TBD

== Программная реализация ==

=== Существующие реализации ===

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T23:15:21Z

KAKTUZ: /* Ресурс параллелизма алгоритма */

Участник:A.Freeman/Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T23:01:23Z

KAKTUZ: /* Ресурс параллелизма алгоритма */

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T19:33:45Z

KAKTUZ: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:A.Freeman| А.А.Фролов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

'''Исходные данные''': симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

'''Вычисляемые данные''': собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор,
* скалярное произведение векторов,
* умножение вектора на число,
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

TBD

=== Входные и выходные данные алгоритма ===

TBD

=== Свойства алгоритма ===

TBD

== Программная реализация ==

=== Существующие реализации ===

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T19:31:27Z

KAKTUZ: /* Макроструктура алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:A.Freeman| А.А.Фролов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
* умножение матрицы на вектор,
* скалярное произведение векторов,
* умножение вектора на число,
* вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

TBD

=== Входные и выходные данные алгоритма ===

TBD

=== Свойства алгоритма ===

TBD

== Программная реализация ==

=== Существующие реализации ===

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T19:29:03Z

KAKTUZ:

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:A.Freeman| А.А.Фролов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

TBD

=== Входные и выходные данные алгоритма ===

TBD

=== Свойства алгоритма ===

TBD

== Программная реализация ==

=== Существующие реализации ===

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-15T19:28:08Z

KAKTUZ:

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(kn^2)</math>
| pf_height = <math>O(k)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k(n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А. Ю. Заспа]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:A.Freeman| А. А. Фролов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

=== Информационный граф ===

TBD

=== Ресурс параллелизма алгоритма ===

TBD

=== Входные и выходные данные алгоритма ===

TBD

=== Свойства алгоритма ===

TBD

== Программная реализация ==

=== Существующие реализации ===

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T21:52:49Z

KAKTUZ:

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(k\; n^2)</math>
| pf_height = <math>O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k\; (n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]], ([[#Описание локальности данных и вычислений|раздел 2.2]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы | метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]], который требует <math> O(k^3) </math> операций.
При классификации по последовательной сложности, таким образом, метод Ланцоша без переортогонализации относится к алгоритмам ''с квадратичной сложностью''.

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T21:44:06Z

KAKTUZ: /* Последовательная сложность алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(k\; n^2)</math>
| pf_height = <math>O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k\; (n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]], ([[#Описание локальности данных и вычислений|раздел 2.2]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* нахождение собственных значений и векторов трехдиагональной симметричной матрицы размера <math> k \times k </math>.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

Для нахождение собственных значений и векторов трехдиагональной симметричной матрицы эффективней всего использовать
При классификации по последовательной сложности, таким образом, метод Холецкого относится к алгоритмам ''с кубической сложностью''.

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T21:41:14Z

KAKTUZ:

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(k\; n^2)</math>
| pf_height = <math>O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k\; (n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]], ([[#Описание локальности данных и вычислений|раздел 2.2]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной симметричной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

=== Последовательная сложность алгоритма ===

Для вычисления <math>k</math> собственных значений матрицы порядка <math>n</math> и соответствующих им собственных векторов алгоритмом Ланцоша без переортогонализации в худшем случае требуется:
* <math> kn^2 + 4 kn + n </math> умножений,
* <math> k + 1 </math> вычислений квадратного корня,
* <math> n(k + 1) </math> делений,
* <math> n + k(n^2+3n-1)</math> сложений (вычитаний),
* <math> 1 </math> нахождение собственных значений и векторов трехдиагональной симметричной матрицы.

Умножения и сложения (вычитания) составляют ''основную часть алгоритма''.

При этом использование режима накопления требует совершения умножений и вычитаний в режиме двойной точности (или использования функции вроде DPROD в Фортране), что ещё больше увеличивает долю умножений и сложений/вычитаний во времени, требуемом для выполнения метода Холецкого.

При классификации по последовательной сложности, таким образом, метод Холецкого относится к алгоритмам ''с кубической сложностью''.

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T21:04:27Z

KAKTUZ: /* Схема реализации последовательного алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(k\; n^2)</math>
| pf_height = <math>O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k\; (n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]], ([[#Описание локальности данных и вычислений|раздел 2.2]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
1. \, \beta_0 = & 0,\; q_0 = 0,\\
\|b\|_2 = &\sqrt{\sum\limits_{j=1}^{n} b_j^2},\\
2. \, q_{1_{j}} = &\frac{b_{j}}{\|b\|_2}, \; j = 1,\, \dots \,, n\\
for \; i = & 1 \; to \; k \\
3. \, z_j & = \sum\limits_{m=1}^{n} a_{jm} q_{i_m}, \; j = 1,\, \dots \,, n\\
4. \, \alpha_i & = \sum\limits_{j=1}^{n}q_j z_j, \; j = 1,\, \dots \,, n\\
5. \, z_j & = z_j - \alpha_i q_{i_j} - \beta_{i-1}q_{i-1_j}, \, j = 1,\, \dots \,, n\\
6. \, \beta_i & = \|z\|_2 = \sqrt{\sum\limits_{j=1}^{n} z_m^2}\\
if \; \beta_i & == 0 \; then \; break\\
7. \, q_{i+1_j} & = \frac{z_j}{\beta_i}, \; j = 1,\, \dots \,, n\\
end \; & for
\end{align}
</math>

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T19:27:04Z

KAKTUZ: /* Математическое описание алгоритма */

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(k\; n^2)</math>
| pf_height = <math>O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k\; (n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]], ([[#Описание локальности данных и вычислений|раздел 2.2]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>b</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
\beta_0 = 0,\; q_0 = 0,\\
\|b\|_2 =
q_{1_{j}} = & \frac{b_{j}}{\|b\|_2} \; j = 1,\; \dots \;, n\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T15:08:28Z

KAKTUZ:

{{algorithm
| name = Алгоритм Ланцоша без переортогонализации
| serial_complexity = <math>O(k\; n^2)</math>
| pf_height = <math>O(n)</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>\frac{n(n + 1)}{2}</math>
| output_data = <math>k\; (n + 1)</math>
}}

Основные авторы описания: [[Участник:KAKTUZ|А.Ю.Заспа]], ([[#Описание локальности данных и вычислений|раздел 2.2]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Алгоритм Ланцоша''' был опубликовн физиком и математиком Корнелием Ланцощем в 1950 году. Этот метод является частным случаем алгоритма Арнольда в случае, если исходная матрица <math>A</math> - симметрична, и был представлен как итерационный метод вычисления собственных значений симметричной матрицы. Этот метод позволяет за <math>k</math> итераций вычислять <math>k</math> приближений собственных значений и собственных векторов исходной матрицы. Хотя алгоритм и был эффективным в вычислительном смысле, но он на некоторое время был предан забвению из-за численной неустойчивости. Только в 1970 Ojalvo и Newman модифицировали алгоритм для использования в арифметике с плавающей точкой. Новый метод получил название [[Алгоритм Ланцоша с полной переортогонализацией | алгоритма Ланцоша с полной переортогонализацией]]. Но эта статья про его исходную версию.
На вход алгоритма подается вещественная симметричная матрица <math>A = A^{T}</math>,
{{Шаблон:ASymmetric}}
Поэтому достаточно хранить только чуть больше половины элементов исходной матрицы.

Сам алгоритм соединяет в себя метод Ланцоша построения крыловского подпространства с процедурой Релея-Ритца. На каждой итерации строится матрица <math>Q_k = [q_1, q_2, \dots, q_k]</math> размерности <math>n \times k</math>, состоящая из ортонормированных векторов Ланцоша. А в качестве приближенных собственных значений берутся числа Ритца, т.е. собственные значения симметричной трехдиагональной матрицы <math>T_k = Q^T_k A Q</math> размерности <math>k \times k</math>.

:<math>
T_k = \begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{k-1} \\
& & & \beta_{k-1} & \alpha_k
\end{pmatrix}
</math>

Нахождение собственных значений и собственных векторов такой матрицы значительно проще чем их вычисление для исходной матрицы. Например, они могут быть вычислены с помощью [[Метод «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы| метода «разделяй и властвуй» вычисления собственных значений и векторов симметричной трехдиагональной матрицы]]. В этом методе эта процедура занимает <math>O(k^3)</math> операций, где константа оказывается на практике довольно мала.

=== Математическое описание алгоритма ===

Исходные данные: симметрическая матрица <math>A</math>, начальный вектор <math>q_1</math>.

Вычисляемые данные: собственные вектора матрицы <math>T_k</math> являющиеся столбцами матрицы <math>Q_k V</math>, и матрица собственных значений <math>\Lambda</math>, где <math>V, \Lambda</math> из спектрального разложения <math>T_k = V\Lambda V^T</math>.

Алгоритм на псевдокоде:

<math>
\begin{align}
q_1 = & \frac{b}{\|b\|_2},\; \beta_0 = 0,\; q_0 = 0\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

''Затем вычислить собственные значения и собственные вектора матрицы <math>T_k</math>''

=== Вычислительное ядро алгоритма ===

Вычислительным ядром на каждой итерации является вычисление произведения матрицы на вектор:

:<math>z = Aq_i</math>

=== Макроструктура алгоритма ===

Макрооперациями алгоритма являются:
умножение матрицы на вектор,
скалярное произведение векторов,
умножение вектора на число,
вычисление собственных векторов и собственных значений трехдиагональной матрицы.

=== Схема реализации последовательного алгоритма ===

Последовательность исполнения метода следующая:

<math>
\begin{align}
\beta_0 = 0,\; q_0 = 0,\\
\|b\|_2 =
q_{1_{j}} = & \frac{b_{j}}{\|b\|_2} \; j = 1,\; \dots \;, n\\
for \; & i = 1 \; to \; k \\
& z = Aq_i\\
& \alpha_i = q^T_i z\\
& z = z - \alpha_i q_i - \beta_{i-1}q_{i-1}\\
& \beta_i = \|z\|_2\\
& if \; \beta_i == 0 \; then \; break\\
& q_{i+1} = \frac{z}{\beta_i}\\
end \; & for
\end{align}
</math>

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T14:55:16Z

KAKTUZ: /* Макроструктура алгоритма */

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T14:53:39Z

KAKTUZ:

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T14:33:20Z

KAKTUZ:

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T12:15:20Z

KAKTUZ:

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T12:01:35Z

KAKTUZ:

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T11:38:12Z

KAKTUZ:

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T11:32:20Z

KAKTUZ:

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T11:31:05Z

KAKTUZ:

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-12T10:57:22Z

KAKTUZ:

Шаблон:TridiagMatrix

2016-10-12T10:22:50Z

KAKTUZ: Новая страница: «<math> \begin{pmatrix} \alpha_1 & \beta_1 \\ \beta_1 & \alpha_2 & \beta_2 \\ & \beta_2 & \ddots & \ddots \\ & & \ddots & \ddots & \beta_{n-1} \\ & & & \beta_{n-1}…»

<math>
\begin{pmatrix}
\alpha_1 & \beta_1 \\
\beta_1 & \alpha_2 & \beta_2 \\
& \beta_2 & \ddots & \ddots \\
& & \ddots & \ddots & \beta_{n-1} \\
& & & \beta_{n-1} & \alpha_n
\end{pmatrix}
</math>

Шаблон:ASymmetric

2016-10-12T10:11:15Z

KAKTUZ:

:<math>
A = \begin{pmatrix}
a_{11} & a_{12} & a_{13} & \cdots & a_{1\ n-1} & a_{1\ n} \\
a_{12} & a_{22} & a_{23} & \cdots & a_{2\ n-1} & a_{2\ n} \\
a_{13} & a_{23} & a_{33} & \cdots & a_{3\ n-1} & a_{3\ n} \\
\vdots & \vdots & \ddots & \ddots & \ddots & \vdots \\
a_{1\ n-1} & \cdots & \cdots & a_{n-2\ n-1} & a_{n-1\ n-1} & a_{n-1\ n} \\
a_{1\ n} & \cdots & \cdots & a_{n-2\ n} & a_{n-1\ n} & a_{n\ n} \\
\end{pmatrix}
</math>

Алгоритм Ланцоша для точной арифметики (без переортогонализации)

2016-10-11T18:05:09Z

KAKTUZ: Новая страница: «{{algorithm | name = Алгоритм Ланцоша без переортогонализации | serial_complexity = <math>O(k\; n^2)</math> | pf…»

Шаблон:ASymmetric

2016-10-11T16:04:26Z

KAKTUZ: Новая страница: «:<math> A = \begin{bmatrix} a_{11} & a_{12} & a_{13} & \cdots & a_{1\ n-1} & a_{1\ n} \\ a_{12} & a_{22} & a_{23} & \cdots & a_{2\ n-1} & a_{2\ n} \\ a_{13} &…»

:<math>
A = \begin{bmatrix}
a_{11} & a_{12} & a_{13} & \cdots & a_{1\ n-1} & a_{1\ n} \\
a_{12} & a_{22} & a_{23} & \cdots & a_{2\ n-1} & a_{2\ n} \\
a_{13} & a_{23} & a_{33} & \cdots & a_{3\ n-1} & a_{3\ n} \\
\vdots & \vdots & \ddots & \ddots & \ddots & \vdots \\
a_{1\ n-1} & \cdots & \cdots & a_{n-2\ n-1} & a_{n-1\ n-1} & a_{n-1\ n} \\
a_{1\ n} & \cdots & \cdots & a_{n-2\ n} & a_{n-1\ n} & a_{n\ n} \\
\end{bmatrix}
</math>