https://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/api.php?action=feedcontributions&feedformat=atom&user=FrolovАлговики - Вклад [ru]2026-10-22T15:11:34ZВкладMediaWiki 1.43.5https://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25367Классификация алгоритмов2018-02-27T12:16:58Z<p>Frolov: /* Разложения матриц */</p>
<hr />
<div>__TOC__<br />
= Задачи алгебры =<br />
==Матричные и векторные операции==<br />
===Векторные операции===<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=== Умножения матриц на вектор ===<br />
==== Умножения неособенных матриц на вектор ====<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
==== Умножения матриц специального вида на вектор ====<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
===Матричные операции===<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
==Разложения матриц==<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Разложения, содержащие матрицу, подобную исходной}}<br />
## {{level|Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Разложения с использованием унитарных преобразований, не содержащие матриц, подобной исходной}}<br />
## {{level|Разложения на две унитарные и одну двухдиагональную матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на две унитарные и одну диагональную матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
<br />
==Решение систем линейных уравнений==<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
==Решения спектральных задач==<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
==Алгебра многочленов==<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
<br />
<br />
= Алгоритмы на списках и массивах =<br />
==Алгоритмы поиска==<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
==Алгоритмы сортировки==<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
==Алгоритмы на графах==<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} <br />
# {{level|Пересечение звёздных многоугольников}}<br />
==Компьютерная графика==<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
<br />
=Исследование и моделирование компьютеров=<br />
==Тесты производительности компьютеров==<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
==Алгоритмы моделирования квантовых систем==<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
==Алгоритмы машинного обучения==<br />
# {{level|Алгоритм k средних (k-means)}}<br />
===Нейронные сети===<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
===Алгоритмы теории игр===<br />
<br />
= Прикладные задачи из разных областей =<br />
==Алгоритмы оптимизации==<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
==Решение систем нелинейных уравнений==<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
==Численные методы интегрирования==<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
==Алгоритмы решения уравнений математической физики==<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25366Классификация алгоритмов2018-02-27T12:15:13Z<p>Frolov: /* Разложения матриц */</p>
<hr />
<div>__TOC__<br />
= Задачи алгебры =<br />
==Матричные и векторные операции==<br />
===Векторные операции===<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=== Умножения матриц на вектор ===<br />
==== Умножения неособенных матриц на вектор ====<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
==== Умножения матриц специального вида на вектор ====<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
===Матричные операции===<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
==Разложения матриц==<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Разложения, содержащие матрицу, подобную исходной}}<br />
## {{level|Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Разложения с использованием унитарных преобразований, не содержащие матриц, подобной исходной}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
<br />
==Решение систем линейных уравнений==<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
==Решения спектральных задач==<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
==Алгебра многочленов==<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
<br />
<br />
= Алгоритмы на списках и массивах =<br />
==Алгоритмы поиска==<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
==Алгоритмы сортировки==<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
==Алгоритмы на графах==<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} <br />
# {{level|Пересечение звёздных многоугольников}}<br />
==Компьютерная графика==<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
<br />
=Исследование и моделирование компьютеров=<br />
==Тесты производительности компьютеров==<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
==Алгоритмы моделирования квантовых систем==<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
==Алгоритмы машинного обучения==<br />
# {{level|Алгоритм k средних (k-means)}}<br />
===Нейронные сети===<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
===Алгоритмы теории игр===<br />
<br />
= Прикладные задачи из разных областей =<br />
==Алгоритмы оптимизации==<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
==Решение систем нелинейных уравнений==<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
==Численные методы интегрирования==<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
==Алгоритмы решения уравнений математической физики==<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=QR-%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC&diff=25365QR-алгоритм2018-02-27T12:12:27Z<p>Frolov: </p>
<hr />
<div>{{level-m}}<br />
<br />
Авторы описания: [[Участник:Смирнова_Александра|Смирнова А.С.]] ([[QR-алгоритм#Математическое описание|Раздел 2]]), [[Участник:Frolov|Фролов А.В.]] (общая редактура и правка)<br />
<br />
[[Спектральное разложение (нахождение собственных значений и векторов)|Задача нахождения собственных значений и собственных векторов]] для матрицы <math>A</math> заключается в поиске таких соответствующих друг другу чисел <math>\lambda</math> и ''ненулевых'' векторов <math>x</math>, которые удовлетворяют уравнению <math style="vertical-align:0%">Ax=\lambda x</math>, при этом числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>.<br />
<br />
Данная задача является одной из самых сложных задач линейной алгебры<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref>. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует прямых методов вычисления собственных значений для матриц общего вида, поэтому данная задача на практике решается численными итерационными методами. Одним из них является '''QR-алгоритм'''.<br />
<br />
== Общее описание метода ==<br />
<br />
'''QR-алгоритм''' — это численный '''метод''' в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом QR-алгоритм позволяет найти сразу и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В.Н. Кублановской(Россия)<ref>Кублановская В.Н. О некоторых алгоритмах для решения полной проблемы собственных значений // Ж. вычисл.<br />
матем. и матем. физ. 1961. Т. 1. № 4. С. 555–570</ref> и Дж. Фрэнсисом(Англия)<ref>J.G.F. Francis, "The QR Transformation, I", ''The Computer Journal'', 1961, vol. 4, no. 3, pp. 265-271</ref>. Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>. В настоящее время под QR-алгоритмом понимается не только исходно разработанный В.Н.Кублановской и Дж. Фрэнсисом алгоритм, но и всю совокупность более поздних приёмов его ускорения.<br />
<br />
Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой унитарно подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.<br />
<br />
== Математическое описание базового метода ==<br />
<br />
Известно, что произвольная квадратная матрица может быть представлена в виде произведения унитарной (''в вещественном случае ортогональной'') и верхней треугольной матриц. Такое разложение называется [[QR-разложения плотных неособенных матриц|QR-разложением]]. <br />
<br />
Пусть <math>A_0 = A</math> — исходная матрица.<br />
Для <math>k = 0, 1, 2, \ldots</math> выполняется QR-разложение:<br />
* <math>A_{k} = Q_kR_k</math>, где <math>Q_k</math> — унитарная (''ортогональная'') матрица, <math>R_k</math> — верхняя треугольная матрица, и затем найденные матрицы перемножаются в обратном порядке:<br />
* <math>A_{k+1} = R_kQ_k</math>.<br />
<br />
Поскольку <math>A_{k+1} = R_kQ_k = Q_k^{*}A_{k}Q_k</math>, то матрицы <math>A_{k+1}</math> и <math>A_k</math> унитарно подобны для любого <math>k</math>. Поэтому матрицы <math>A_1, A_2, \ldots</math> унитарно подобны исходной матрице <math>A</math> и имеют те же собственные значения.<br />
<br />
В специальной литературе по численным методам приводится доказательство<ref name="VOLA" /> сходимости получающихся матриц к клеточной правой треугольной матрице с диагональными клетками, размеры которых зависят от размеров канонических ящиков Жордана исходной матрицы. Таким образом, проблема собственных значений матрицы сводится к проблемам собственных значений матриц меньшего размера. QR-алгоритм в узком смысле и есть эта процедура. Однако обычно к нему относят не только её, но и весь комплекс приёмов ускорения этого итерационного метода. <br />
<br />
=== Особенности вещественного несимметричного варианта QR-алгоритма ===<br />
<br />
Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref name = "Dem"> Деммель Д. Вычислительная линейная алгебра. – 2001. - С.261-264. </ref>.<br />
<br />
<math>A_N= <br />
\begin{bmatrix}<br />
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\ <br />
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\ <br />
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\ <br />
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\ <br />
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\ <br />
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\ <br />
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\ <br />
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\ <br />
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare<br />
\end{bmatrix}</math>.<br />
<br />
Надо сказать, что при применении QR-алгоритма к симметричным матрицам такой проблемы не возникает, поскольку у них нет комплексных собственных значений. Кроме этого, приведение к хессенберговой форме в силу симметрии автоматически даст трёхдиагональную форму и, как следствие, линейную сложность одной итерации, что существенно ускоряет исполнение в сравнении с матрицами общего вида. В существующих пакетах программ для того, чтобы не выполнять итерации в комплексной арифметике, выполняют т.н. неявный двойной сдвиг<ref name = "Dem" />.<br />
<br />
== Ускорение сходимости QR-алгоритма ==<br />
<br />
Применение приёмов ускорения даёт QR-алгоритму существенные преимущества перед альтернативными методами решения проблемы собственных значений. Приёмы делятся по своей сути на две группы - приёмы ускорения одной итерации алгоритма и приёмы ускорения сходимости итерационного процесса, то есть уменьшения числа итераций. <br />
<br />
=== Использование хессенберговой формы матрицы ===<br />
<br />
Хессенбергова (почти треугольная) форма матрицы интересна в приложении к QR-алгоритму тем, что в случае, если <math>A_0 = A</math> имеет эту форму, то имеют её и все матрицы <math>A_k</math>. Если теперь посмотреть на методы [[QR-разложения плотных неособенных матриц]], то видно, что выполнение разложения <math>A_k = Q_kR_k</math> в случае плотной неособенной <math>A_k</math>требует (в последовательном варианте) <math>O(n^3)</math> операций, как и последующий процесс вычисления <math>A_{k+1} = R_kQ_k</math>. В случае же, если матрицы хессенберговы, то как [[Методы QR-разложения плотных хессенберговых матриц|QR-разложения плотных хессенберговых матриц]], так и вычисления <math>A_{k+1} = R_kQ_k</math> потребуют уже по <math>O(n^2)</math> операций. Это позволяет экономить если не время (критические пути графа алгоритма линейны для лучших методов QR-разложения и для плотной матрицы, и для хессенберговой), то довольно большие вычислительные ресурсы. <br />
<br />
Поэтому естественным приёмом ускорения итераций QR-алгоритма является начальное [[Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной|унитарно подобное приведение матрицы к хессенбергову виду]]. После этого все процедуры QR-алгоритма следует проводить уже с матрицами хессенберговой формы.<br />
<br />
В случае, если исходная матрица эрмитова (в вещественном случае - симметричная), то унитарно подобное приведение к хессенберговому виду становится [[Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной|приведением к трёхдиагональному симметричному виду]]. В этом случае QR-алгоритм становится ещё <br />
быстрее, благодаря существенно большему количеству нулей в структурах образующихся матриц..<br />
<br />
=== Сдвиги QR-алгоритма ===<br />
<br />
QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численные методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:<br />
<br />
* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.<br />
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.<br />
<br />
При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>: <br />
<br />
<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.<br />
<br />
Подбор параметра <math>\nu_k</math> осуществляется в зависимости от элементов матрицы <math>A_k</math>. При алгоритме подбора параметров, известном, как ''правило Фрэнсиса'', среднее количество итераций для большинства матриц получается порядка 2 на одно собственное значение. Существуют, однако, матрицы, для которых правило Фрэнсиса не даёт сходимости, поэтому если по истечении 10 итераций с обычным сдвигом не получилось сходимости, применяют так называемые "особые сдвиги". Для симметрического же случая используется стратегия Уилкинсона<ref name = "Dem" />. <br />
<br />
Указанные стратегии выбора сдвигов используется в программах библиотек LAPACK и SCALAPACK. Но они не являются наилучшими, поскольку для выбора новых сдвигов нужно провести предшествующие итерации до конца. Поэтому в публикациях XXI века уже появились описания т.н. многосдвиговых итераций. В этой стратегии выбор сдвигов также выполняется с помощью собственных чисел подматриц из нижнего правого угла обрабатываемых блоков, но их размерность уже берётся больше, чем 2<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>. <br />
<br />
=== Неявное проведение итераций === <br />
<br />
Q-теорема<ref name = "Dem" /> помогает не вычислять в явном виде требуемые матрицы с их последующим перемножением, а выполнять эти операции неявно. При этом в соответствии с [[QR-алгоритм#Особенности вещественного несимметричного варианта QR-алгоритма|особенностями вещественного случая несимметричных матриц]] удаётся выполнять т.н. неявный двойной сдвиг с использованием двух комплексно сопряжённых сдвигов (например, из правила Фрэнсиса), оставаясь в рамках вещественной арифметрики, с помощью выполнения двусторонними преобразованиями Хаусхолдера т.н. вытеснения выступа. В вещественном случае аналогично (но с преимуществами симметрии) выполняется неявный одинарный сдвиг, вытеснением выступа двусторонними преобразованиями вращения (Гивенса). <br />
<br />
=== Обнуление поддиагональных элементов (дефляция) ===<br />
<br />
После того, как под диагональю какой-либо элемент становится менее порогового значения, его считают равным нулю. Это даёт возможность применить разделение диагональных блоков матрицы, соседствующих с ним, и раздельное вычисление их собственных чисел. Приём называется '''дефляцией'''.<br />
<br />
== QR-алгоритм в различных вариантах ==<br />
<br />
В классическом (без приёмов ускорения) виде QR-алгоритм не применяется из-за медленности. Варианты метода, в основном, используются для матриц разного вида:<br />
<br />
=== Метод для матриц общего вида ===<br />
<br />
[[QR-алгоритм, используемый в SCALAPACK]] для решения проблемы собственных значений у матриц общего вида в настоящее время использует тот подход к выбору сдвигов, который не подтверждён теоретически, но имел лучшие практические показатели на момент создания библиотеки LAPACK. Это выполнение процедуры "двойного сдвига" с величинами, равными собственным значениям последней диагональной клетки размера 2х2 у всех диагональных блоков, больших размером.<br />
Поскольку существуют матрицы, для которых этот выбор сдвигов не даёт сходимости, то после 10й итерации при отсутствии уменьшения поддиагональных элементов выполняется некий "особый" сдвиг.<br />
<br />
=== Метод для симметричных и эрмитовых матриц ===<br />
<br />
В случае симметрии (для вещественных матриц) или эрмитовости (для комплексных) применяемый для решения проблемы собственных значений QR-алгоритм использует особенности как самой задачи (собственные числа таких матриц вещественны), так и получаемых промежуточных результатов (хессенберговы матрицы оказываются трёхдиагональными симметричными), что сокращает расчёты. <br />
[[QR-алгоритм для симметричных матриц, используемый в SCALAPACK]] для решения проблемы собственных значений у симметричных матриц в настоящее время использует подход к выбору сдвигов, разработанный в начале 90-х гг. XX века<ref>G. HENRY, Improving Data Re-Use in Eigenvalue-Related Computations, PhD thesis, Cornell University, Ithaca, NY, January 1994</ref>.<br />
<br />
=== Использование QR-алгоритма для нахождения сингулярных чисел ===<br />
<br />
== Литература ==<br />
<references /></div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=QR-%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC&diff=25364QR-алгоритм2018-02-27T12:11:07Z<p>Frolov: </p>
<hr />
<div>{{level-m}}<br />
<br />
Авторы описания: [[Участник:Смирнова_Александра|Смирнова А.С.]] ([[QR-алгоритм#Математическое описание|Раздел 2]]), [[Участник:Frolov|Фролов А.В.]] (общая редактура и правка)<br />
<br />
[[Спектральное разложение (нахождение собственных значений и векторов)|Задача нахождения собственных значений и собственных векторов]] для матрицы <math>A</math> заключается в поиске таких соответствующих друг другу чисел <math>\lambda</math> и ''ненулевых'' векторов <math>x</math>, которые удовлетворяют уравнению <math style="vertical-align:0%">Ax=\lambda x</math>, при этом числа <math>\lambda</math> называются собственными значениями, а вектора <math>x</math> - собственными векторами<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>.<br />
<br />
Данная задача является одной из самых сложных задач линейной алгебры<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref>. Собственные вектора и собственные значения применяются в различных областях науки: в аналитической геометрии, при решении систем интегральных уравнений, в математической физике. Однако не существует прямых методов вычисления собственных значений для матриц общего вида, поэтому данная задача на практике решается численными итерационными методами. Одним из них является '''QR-алгоритм'''.<br />
<br />
== Общее описание метода ==<br />
<br />
'''QR-алгоритм''' — это численный '''метод''' в линейной алгебре, предназначенный для решения полной проблемы собственных значений, то есть отыскания всех собственных чисел матрицы. При этом QR-алгоритм позволяет найти сразу и собственные вектора матрицы. Он был разработан в конце 1950-х годов независимо В.Н. Кублановской(Россия)<ref>Кублановская В.Н. О некоторых алгоритмах для решения полной проблемы собственных значений // Ж. вычисл.<br />
матем. и матем. физ. 1961. Т. 1. № 4. С. 555–570</ref> и Дж. Фрэнсисом(Англия)<ref>J.G.F. Francis, "The QR Transformation, I", ''The Computer Journal'', 1961, vol. 4, no. 3, pp. 265-271</ref>. Открытию QR-алгоритма предшествовал LR-алгоритм, который использовал LU-разложение вместо QR-разложения. В настоящее время LR-алгоритм используется очень редко ввиду своей меньшей эффективности, однако он был важным шагом на пути к открытию QR-алгоритма<ref>[https://en.wikipedia.org/wiki/QR_algorithm Wikipedia: QR-algorithm]</ref>. В настоящее время под QR-алгоритмом понимается не только исходно разработанный В.Н.Кублановской и Дж. Фрэнсисом алгоритм, но и всю совокупность более поздних приёмов его ускорения.<br />
<br />
Суть базового QR-алгоритма заключается в итерационном приведении матрицы <math>A</math> к некоторой унитарно подобной ей матрице <math>A_N</math> при помощи QR-разложения. Матрица <math>A_N</math> является правой верхней треугольной матрицей, а значит ее диагональ содержит собственные значения. В силу подобия матриц <math>A</math> и <math>A_N</math> их наборы собственных значений совпадают. Таким образом задача поиска собственных значений матрицы <math>A</math> сводится к задаче выведения матрицы <math>A_N</math> и поиска собственных значений для нее, что является тривиальной задачей.<br />
<br />
== Математическое описание базового метода ==<br />
<br />
Известно, что произвольная квадратная матрица может быть представлена в виде произведения унитарной (''в вещественном случае ортогональной'') и верхней треугольной матриц. Такое разложение называется [[QR-разложения плотных неособенных матриц|QR-разложением]]. <br />
<br />
Пусть <math>A_0 = A</math> — исходная матрица.<br />
Для <math>k = 0, 1, 2, \ldots</math> выполняется QR-разложение:<br />
* <math>A_{k} = Q_kR_k</math>, где <math>Q_k</math> — унитарная (''ортогональная'') матрица, <math>R_k</math> — верхняя треугольная матрица, и затем найденные матрицы перемножаются в обратном порядке:<br />
* <math>A_{k+1} = R_kQ_k</math>.<br />
<br />
Поскольку <math>A_{k+1} = R_kQ_k = Q_k^{*}A_{k}Q_k</math>, то матрицы <math>A_{k+1}</math> и <math>A_k</math> унитарно подобны для любого <math>k</math>. Поэтому матрицы <math>A_1, A_2, \ldots</math> унитарно подобны исходной матрице <math>A</math> и имеют те же собственные значения.<br />
<br />
В специальной литературе по численным методам приводится доказательство<ref name="VOLA" /> сходимости получающихся матриц к клеточной правой треугольной матрице с диагональными клетками, размеры которых зависят от размеров канонических ящиков Жордана исходной матрицы. Таким образом, проблема собственных значений матрицы сводится к проблемам собственных значений матриц меньшего размера. QR-алгоритм в узком смысле и есть эта процедура. Однако обычно к нему относят не только её, но и весь комплекс приёмов ускорения этого итерационного метода. <br />
<br />
=== Особенности вещественного несимметричного варианта QR-алгоритма ===<br />
<br />
Если вещественная матрица <math>A</math> имеет различные вещественные собственные значения, то, как было описано ранее, QR-алгоритм сходится к матрице с верхней треугольной формой, на диагонали которой находятся собственные значения. Однако вещественная матрица может иметь комплексные собственные значения. В данном случае алгоритм будет сходиться не к верхней треугольной матрице, а к блочной верхней треугольной матрице, которая на диагонали содержит блоки 1-го и 2-го порядка. Блоки 1-го порядка содержат различные вещественные собственные значения, блоки 2-го порядка соответствуют парам комплексных сопряженных собственных значений<ref name = "Dem"> Деммель Д. Вычислительная линейная алгебра. – 2001. - С.261-264. </ref>.<br />
<br />
<math>A_N= <br />
\begin{bmatrix}<br />
\blacksquare& \bullet& \bullet& \cdots& \cdots& \cdots& \cdots& \cdots& \bullet\\ <br />
0& \blacksquare& \blacksquare& \bullet& \ddots& \ddots& \ddots& \ddots& \vdots\\ <br />
0& \blacksquare& \blacksquare& \bullet& \bullet& \ddots& \ddots& \ddots& \vdots\\ <br />
\vdots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \ddots& \vdots\\ <br />
\vdots& \ddots& 0& 0& \blacksquare& \bullet& \bullet& \ddots& \vdots\\ <br />
\vdots& \ddots& \ddots& 0& 0& \blacksquare& \blacksquare& \ddots& \vdots\\ <br />
\vdots& \ddots& \ddots& \ddots& 0& \blacksquare& \blacksquare& \ddots& \bullet\\ <br />
\vdots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \ddots& \bullet\\ <br />
0& \cdots& \cdots& \cdots& \cdots& \cdots& 0& 0& \blacksquare<br />
\end{bmatrix}</math>.<br />
<br />
Надо сказать, что при применении QR-алгоритма к симметричным матрицам такой проблемы не возникает, поскольку у них нет комплексных собственных значений. Кроме этого, приведение к хессенберговой форме в силу симметрии автоматически даст трёхдиагональную форму и, как следствие, линейную сложность одной итерации, что существенно ускоряет исполнение в сравнении с матрицами общего вида. В существующих пакетах программ для того, чтобы не выполнять итерации в комплексной арифметике, выполняют т.н. неявный двойной сдвиг<ref name = "Dem" />.<br />
<br />
== Ускорение сходимости QR-алгоритма ==<br />
<br />
Применение приёмов ускорения даёт QR-алгоритму существенные преимущества перед альтернативными методами решения проблемы собственных значений. Приёмы делятся по своей сути на две группы - приёмы ускорения одной итерации алгоритма и приёмы ускорения сходимости итерационного процесса, то есть уменьшения числа итераций. <br />
<br />
=== Использование хессенберговой формы матрицы ===<br />
<br />
Хессенбергова (почти треугольная) форма матрицы интересна в приложении к QR-алгоритму тем, что в случае, если <math>A_0 = A</math> имеет эту форму, то имеют её и все матрицы <math>A_k</math>. Если теперь посмотреть на методы [[QR-разложения плотных неособенных матриц]], то видно, что выполнение разложения <math>A_k = Q_kR_k</math> в случае плотной неособенной <math>A_k</math>требует (в последовательном варианте) <math>O(n^3)</math> операций, как и последующий процесс вычисления <math>A_{k+1} = R_kQ_k</math>. В случае же, если матрицы хессенберговы, то как [[Методы QR-разложения плотных хессенберговых матриц|QR-разложения плотных хессенберговых матриц]], так и вычисления <math>A_{k+1} = R_kQ_k</math> потребуют уже по <math>O(n^2)</math> операций. Это позволяет экономить если не время (критические пути графа алгоритма линейны для лучших методов QR-разложения и для плотной матрицы, и для хессенберговой), то довольно большие вычислительные ресурсы. <br />
<br />
Поэтому естественным приёмом ускорения итераций QR-алгоритма является начальное [[Подобные разложения на унитарные и хессенберговы матрицы|унитарно подобное приведение матрицы к хессенбергову виду]]. После этого все процедуры QR-алгоритма следует проводить уже с матрицами хессенберговой формы.<br />
<br />
В случае, если исходная матрица эрмитова (в вещественном случае - симметричная), то унитарно подобное приведение к хессенберговому виду становится [[Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной|приведением к трёхдиагональному симметричному виду]]. В этом случае QR-алгоритм становится ещё <br />
быстрее, благодаря существенно большему количеству нулей в структурах образующихся матриц..<br />
<br />
=== Сдвиги QR-алгоритма ===<br />
<br />
QR-алгоритм со сдвигами позволяет сократить количество итераций, необходимых для сходимости<ref name="bahvalov">Бахвалов Н.С., Жидков Н.П., Кобельков. Г.М. "Численные методы"— 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>. Пусть у нас есть матрица <math>A_k</math>, тогда процесс перехода к матрице <math>A_{k+1}</math> выглядит следующим образом:<br />
<br />
* На каждом шаге подбирается число <math>\nu_k</math> и ищется следующее QR-разложение: <math>A_k-\nu_kE=Q_kR_k</math>.<br />
* Вычисляется матрица <math>A_{k+1}</math>: <math>A_{k+1} = R_kQ_k+\nu_kE</math>.<br />
<br />
При этом сохраняется свойство подобия матриц <math>A_k</math> и <math>A_{k+1}</math>: <br />
<br />
<math>A_{k+1} = R_kQ_k+\nu_kE=Q_{k}^{T}Q_kR_kQ_k+\nu_kE=Q_{k}^{T}(A_k-\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-Q_{k}^{T}(\nu_kE)Q_k+\nu_kE=Q_{k}^{T}A_kQ_k-\nu_kE+\nu_kE=Q_{k}^{T}A_kQ_k</math>.<br />
<br />
Подбор параметра <math>\nu_k</math> осуществляется в зависимости от элементов матрицы <math>A_k</math>. При алгоритме подбора параметров, известном, как ''правило Фрэнсиса'', среднее количество итераций для большинства матриц получается порядка 2 на одно собственное значение. Существуют, однако, матрицы, для которых правило Фрэнсиса не даёт сходимости, поэтому если по истечении 10 итераций с обычным сдвигом не получилось сходимости, применяют так называемые "особые сдвиги". Для симметрического же случая используется стратегия Уилкинсона<ref name = "Dem" />. <br />
<br />
Указанные стратегии выбора сдвигов используется в программах библиотек LAPACK и SCALAPACK. Но они не являются наилучшими, поскольку для выбора новых сдвигов нужно провести предшествующие итерации до конца. Поэтому в публикациях XXI века уже появились описания т.н. многосдвиговых итераций. В этой стратегии выбор сдвигов также выполняется с помощью собственных чисел подматриц из нижнего правого угла обрабатываемых блоков, но их размерность уже берётся больше, чем 2<ref>R. Granat, Bo Kagstrom, D. Kressner "LAPACK Working Note #216: A novel parallel QR algorithm for hybrid distributed memory HPC systems".</ref>. <br />
<br />
=== Неявное проведение итераций === <br />
<br />
Q-теорема<ref name = "Dem" /> помогает не вычислять в явном виде требуемые матрицы с их последующим перемножением, а выполнять эти операции неявно. При этом в соответствии с [[QR-алгоритм#Особенности вещественного несимметричного варианта QR-алгоритма|особенностями вещественного случая несимметричных матриц]] удаётся выполнять т.н. неявный двойной сдвиг с использованием двух комплексно сопряжённых сдвигов (например, из правила Фрэнсиса), оставаясь в рамках вещественной арифметрики, с помощью выполнения двусторонними преобразованиями Хаусхолдера т.н. вытеснения выступа. В вещественном случае аналогично (но с преимуществами симметрии) выполняется неявный одинарный сдвиг, вытеснением выступа двусторонними преобразованиями вращения (Гивенса). <br />
<br />
=== Обнуление поддиагональных элементов (дефляция) ===<br />
<br />
После того, как под диагональю какой-либо элемент становится менее порогового значения, его считают равным нулю. Это даёт возможность применить разделение диагональных блоков матрицы, соседствующих с ним, и раздельное вычисление их собственных чисел. Приём называется '''дефляцией'''.<br />
<br />
== QR-алгоритм в различных вариантах ==<br />
<br />
В классическом (без приёмов ускорения) виде QR-алгоритм не применяется из-за медленности. Варианты метода, в основном, используются для матриц разного вида:<br />
<br />
=== Метод для матриц общего вида ===<br />
<br />
[[QR-алгоритм, используемый в SCALAPACK]] для решения проблемы собственных значений у матриц общего вида в настоящее время использует тот подход к выбору сдвигов, который не подтверждён теоретически, но имел лучшие практические показатели на момент создания библиотеки LAPACK. Это выполнение процедуры "двойного сдвига" с величинами, равными собственным значениям последней диагональной клетки размера 2х2 у всех диагональных блоков, больших размером.<br />
Поскольку существуют матрицы, для которых этот выбор сдвигов не даёт сходимости, то после 10й итерации при отсутствии уменьшения поддиагональных элементов выполняется некий "особый" сдвиг.<br />
<br />
=== Метод для симметричных и эрмитовых матриц ===<br />
<br />
В случае симметрии (для вещественных матриц) или эрмитовости (для комплексных) применяемый для решения проблемы собственных значений QR-алгоритм использует особенности как самой задачи (собственные числа таких матриц вещественны), так и получаемых промежуточных результатов (хессенберговы матрицы оказываются трёхдиагональными симметричными), что сокращает расчёты. <br />
[[QR-алгоритм для симметричных матриц, используемый в SCALAPACK]] для решения проблемы собственных значений у симметричных матриц в настоящее время использует подход к выбору сдвигов, разработанный в начале 90-х гг. XX века<ref>G. HENRY, Improving Data Re-Use in Eigenvalue-Related Computations, PhD thesis, Cornell University, Ithaca, NY, January 1994</ref>.<br />
<br />
=== Использование QR-алгоритма для нахождения сингулярных чисел ===<br />
<br />
== Литература ==<br />
<references /></div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D1%82%D1%80%D1%91%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%83%D1%8E_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D1%83%D0%BD%D0%B8%D1%82%D0%B0%D1%80%D0%BD%D0%BE_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25363Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной2018-02-27T12:09:50Z<p>Frolov: Frolov переименовал страницу Симметричные разложения на унитарные и трёхдиагональные матрицы в [[Разложения, содержащие трёхдиагональну…</p>
<hr />
<div>{{level-p}}<br />
<br />
'''Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной''' — разложения '''квадратных эрмитовых''' матриц в произведения вида <math>A=QTQ^*</math>, где <math>T</math> — симметричная трёхдиагональная вещественная, <math>Q</math> — унитарная (а в вещественном случае — ортогональная) матрицы. <br />
<br />
Наиболее разработанными и применяемыми методами для вычисления таких разложений являются методы [[Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду|Хаусхолдера]] и [[Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме|Гивенса]], оба имеют различные варианты.<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D1%82%D1%80%D1%91%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%83%D1%8E_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D1%83%D0%BD%D0%B8%D1%82%D0%B0%D1%80%D0%BD%D0%BE_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25362Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной2018-02-27T12:09:22Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
'''Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной''' — разложения '''квадратных эрмитовых''' матриц в произведения вида <math>A=QTQ^*</math>, где <math>T</math> — симметричная трёхдиагональная вещественная, <math>Q</math> — унитарная (а в вещественном случае — ортогональная) матрицы. <br />
<br />
Наиболее разработанными и применяемыми методами для вычисления таких разложений являются методы [[Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду|Хаусхолдера]] и [[Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме|Гивенса]], оба имеют различные варианты.<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D1%85%D0%B5%D1%81%D1%81%D0%B5%D0%BD%D0%B1%D0%B5%D1%80%D0%B3%D0%BE%D0%B2%D1%83_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D1%83%D0%BD%D0%B8%D1%82%D0%B0%D1%80%D0%BD%D0%BE_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25361Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной2018-02-27T12:07:47Z<p>Frolov: Frolov переименовал страницу Подобные разложения на унитарные и хессенберговы матрицы в [[Разложения, содержащие хессенбергову матрицу,…</p>
<hr />
<div>{{level-p}}<br />
<br />
'''Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной''' - разложения '''квадратных''' матриц в произведения вида <math>A=QHQ^*</math>, где <math>H</math> - хессенбергова, <math>Q</math> унитарная (а в вещественном случае - ортогональная) матрицы. <br />
<br />
Наиболее часто используются как первая стадия выполнения [[QR-алгоритм|QR-алгоритма]]. Основными методами приведения матриц к хессенберговому виду являются методы [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|Хаусхолдера]] и [[Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме|Гивенса]].<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D1%85%D0%B5%D1%81%D1%81%D0%B5%D0%BD%D0%B1%D0%B5%D1%80%D0%B3%D0%BE%D0%B2%D1%83_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D1%83%D0%BD%D0%B8%D1%82%D0%B0%D1%80%D0%BD%D0%BE_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25360Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной2018-02-27T12:07:18Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
'''Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной''' - разложения '''квадратных''' матриц в произведения вида <math>A=QHQ^*</math>, где <math>H</math> - хессенбергова, <math>Q</math> унитарная (а в вещественном случае - ортогональная) матрицы. <br />
<br />
Наиболее часто используются как первая стадия выполнения [[QR-алгоритм|QR-алгоритма]]. Основными методами приведения матриц к хессенберговому виду являются методы [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|Хаусхолдера]] и [[Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме|Гивенса]].<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25359Классификация алгоритмов2018-02-27T12:05:50Z<p>Frolov: /* Разложения матриц */</p>
<hr />
<div>__TOC__<br />
= Задачи алгебры =<br />
==Матричные и векторные операции==<br />
===Векторные операции===<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=== Умножения матриц на вектор ===<br />
==== Умножения неособенных матриц на вектор ====<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
==== Умножения матриц специального вида на вектор ====<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
===Матричные операции===<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
==Разложения матриц==<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Разложения, содержащие матрицу, подобную исходной}}<br />
## {{level|Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
<br />
==Решение систем линейных уравнений==<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
==Решения спектральных задач==<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
==Алгебра многочленов==<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
<br />
<br />
= Алгоритмы на списках и массивах =<br />
==Алгоритмы поиска==<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
==Алгоритмы сортировки==<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
==Алгоритмы на графах==<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} <br />
# {{level|Пересечение звёздных многоугольников}}<br />
==Компьютерная графика==<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
<br />
=Исследование и моделирование компьютеров=<br />
==Тесты производительности компьютеров==<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
==Алгоритмы моделирования квантовых систем==<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
==Алгоритмы машинного обучения==<br />
# {{level|Алгоритм k средних (k-means)}}<br />
===Нейронные сети===<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
===Алгоритмы теории игр===<br />
<br />
= Прикладные задачи из разных областей =<br />
==Алгоритмы оптимизации==<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
==Решение систем нелинейных уравнений==<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
==Численные методы интегрирования==<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
==Алгоритмы решения уравнений математической физики==<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25358Разложения, содержащие матрицу, подобную исходной2018-02-27T12:05:22Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
'''Разложения, содержащие матрицу, подобную исходной''' - разложения '''квадратных''' матриц в произведения вида <math>A=QSQ^{-1}</math>, где <math>S</math> - матрица более простого вида, чем <math>A</math>.<br />
<br />
В силу того, что унитарные матрицы более удобны как для обращения, так и для двусторонних преобразований, обычно используют в качестве <math>Q</math> унитарные (а в вещественном случае - ортогональные) матрицы. <br />
<br />
Наиболее разработанными и применяемыми из данных разложений являются нахождение для неэрмитовых матриц [[Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной|разложений на унитарные и хессенберговы матрицы]], а для эрмитовых - [[Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной|симметричных разложений на унитарные и трёхдиагональные матрицы]].<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25357Разложения, содержащие матрицу, подобную исходной2018-02-27T12:02:53Z<p>Frolov: Frolov переименовал страницу Подобные разложения в Разложения, содержащие матрицу, подобную исходной без оставления перенаправления:…</p>
<hr />
<div>{{level-p}}<br />
<br />
'''Подобные разложения''' - разложения '''квадратных''' матриц в произведения вида <math>A=QSQ^{-1}</math>, где <math>S</math> - матрица более простого вида, чем <math>A</math>.<br />
<br />
В силу того, что унитарные матрицы более удобны как для обращения, так и для двусторонних преобразований, обычно используют в качестве <math>Q</math> унитарные (а в вещественном случае - ортогональные) матрицы. <br />
<br />
Наиболее разработанными и применяемыми из подобных разложений являются нахождение для неэрмитовых матриц [[Подобные разложения на унитарные и хессенберговы матрицы|разложений на унитарные и хессенберговы матрицы]], а для эрмитовых - [[Симметричные разложения на унитарные и трёхдиагональные матрицы|симметричных разложений на унитарные и трёхдиагональные матрицы]].<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D1%82%D1%80%D1%91%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%83%D1%8E_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D1%83%D0%BD%D0%B8%D1%82%D0%B0%D1%80%D0%BD%D0%BE_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25346Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной2018-02-15T12:55:59Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
'''Симметричные разложения на унитарные и трёхдиагональные матрицы''' — разложения '''квадратных эрмитовых''' матриц в произведения вида <math>A=QTQ^*</math>, где <math>T</math> — симметричная трёхдиагональная вещественная, <math>Q</math> — унитарная (а в вещественном случае — ортогональная) матрицы. <br />
<br />
Наиболее разработанными и применяемыми методами для вычисления подобных разложений являются методы [[Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду|Хаусхолдера]] и [[Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме|Гивенса]], оба имеют различные варианты.<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D1%82%D1%80%D1%91%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%83%D1%8E_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D1%83%D0%BD%D0%B8%D1%82%D0%B0%D1%80%D0%BD%D0%BE_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25345Разложения, содержащие трёхдиагональную матрицу, унитарно подобную исходной2018-02-15T12:55:23Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
'''Симметричные разложения на унитарные и трёхдиагональные матрицы''' - разложения '''квадратных эрмитовых''' матриц в произведения вида <math>A=QTQ^*</math>, где <math>T</math> - симметричная трёхдиагональная вещественная, <math>Q</math> — унитарная (а в вещественном случае — ортогональная) матрицы. <br />
<br />
Наиболее разработанными и применяемыми методами для вычисления подобных разложений являются методы [[Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду|Хаусхолдера]] и [[Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме|Гивенса]], оба имеют различные варианты.<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%A5%D0%B0%D1%83%D1%81%D1%85%D0%BE%D0%BB%D0%B4%D0%B5%D1%80%D0%B0_(%D0%BE%D1%82%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9)_%D0%BF%D1%80%D0%B8%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BA_%D1%85%D0%B5%D1%81%D1%81%D0%B5%D0%BD%D0%B1%D0%B5%D1%80%D0%B3%D0%BE%D0%B2%D0%BE%D0%B9_(%D0%BF%D0%BE%D1%87%D1%82%D0%B8_%D1%82%D1%80%D0%B5%D1%83%D0%B3%D0%BE%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9)_%D1%84%D0%BE%D1%80%D0%BC%D0%B5&diff=25344Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме2018-02-15T12:53:37Z<p>Frolov: </p>
<hr />
<div>{{level-m}}<br />
<br />
'''Метод Хаусхолдера''' (в советской математической литературе чаще называется '''методом отражений''') используется для разложения матриц в виде <math>A=QRQ^T</math> (<math>Q</math> - ортогональная, <math>R</math> — правая почти треугольная матрица)<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>. При этом матрица <math>Q</math> хранится и используется не в своём явном виде, а в виде произведения матриц отражения<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref>. Каждая из матриц отражения может быть определена одним вектором. Это позволяет в классическом исполнении метода отражений хранить результаты разложения на месте матрицы A с использованием одномерного дополнительного массива. <br />
<br />
Для выполнения разложения матрицы в произведение хессенберговой и двух ортогональных используются попеременные умножения слева и справа её текущих модификаций на матрицы Хаусхолдера (отражений). <br />
<br />
{{Шаблон:Матрица отражений}}<br />
<br />
Кроме [[Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|классического метода]], есть и другие варианты метода Хаусхолдера, отличающиеся либо наличием блочных операций, либо другими нюансами.<br />
<br />
= Литература =<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D1%85%D0%B5%D1%81%D1%81%D0%B5%D0%BD%D0%B1%D0%B5%D1%80%D0%B3%D0%BE%D0%B2%D1%83_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D1%83%D0%BD%D0%B8%D1%82%D0%B0%D1%80%D0%BD%D0%BE_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25343Разложения, содержащие хессенбергову матрицу, унитарно подобную исходной2018-02-15T12:52:51Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
'''Подобные разложения на унитарные и хессенберговы матрицы''' - разложения '''квадратных''' матриц в произведения вида <math>A=QHQ^*</math>, где <math>H</math> - хессенбергова, <math>Q</math> унитарная (а в вещественном случае - ортогональная) матрицы. <br />
<br />
Наиболее часто используются как первая стадия выполнения [[QR-алгоритм|QR-алгоритма]]. Основными методами приведения матриц к хессенберговому виду являются методы [[Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме|Хаусхолдера]] и [[Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме|Гивенса]].<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F,_%D1%81%D0%BE%D0%B4%D0%B5%D1%80%D0%B6%D0%B0%D1%89%D0%B8%D0%B5_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%83,_%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%BD%D1%83%D1%8E_%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9&diff=25342Разложения, содержащие матрицу, подобную исходной2018-02-15T12:52:08Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
'''Подобные разложения''' - разложения '''квадратных''' матриц в произведения вида <math>A=QSQ^{-1}</math>, где <math>S</math> - матрица более простого вида, чем <math>A</math>.<br />
<br />
В силу того, что унитарные матрицы более удобны как для обращения, так и для двусторонних преобразований, обычно используют в качестве <math>Q</math> унитарные (а в вещественном случае - ортогональные) матрицы. <br />
<br />
Наиболее разработанными и применяемыми из подобных разложений являются нахождение для неэрмитовых матриц [[Подобные разложения на унитарные и хессенберговы матрицы|разложений на унитарные и хессенберговы матрицы]], а для эрмитовых - [[Симметричные разложения на унитарные и трёхдиагональные матрицы|симметричных разложений на унитарные и трёхдиагональные матрицы]].<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%A5%D0%B0%D1%83%D1%81%D1%85%D0%BE%D0%BB%D0%B4%D0%B5%D1%80%D0%B0_(%D0%BE%D1%82%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9)_QR-%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_%D1%85%D0%B5%D1%81%D1%81%D0%B5%D0%BD%D0%B1%D0%B5%D1%80%D0%B3%D0%BE%D0%B2%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_(%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82)&diff=25341Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)2018-02-15T12:51:15Z<p>Frolov: /* Литература */</p>
<hr />
<div>{{level-a}}<br />
<br />
'''Метод Хаусхолдера''' (в советской математической литературе чаще называется '''методом отражений''') используется для разложения матриц в виде <math>A=QR</math> (<math>Q</math> - унитарная, <math>R</math> — правая треугольная матрица)<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>. При этом матрица <math>Q</math> хранится и используется не в своём явном виде, а в виде произведения матриц отражения<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref>.<br />
<br />
{{Шаблон:Матрица отражений}}<br />
<br />
Поскольку для QR-разложения хессенберговой матрицы нужно "обнулить" только элементы одной диагонали, то, в отличие от [[Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант|стандартной реализации метода Хаусхолдера для плотной квадратной матрицы]], для него нужно выполнять операции отражения с базой на приведении двумерных векторов к одному из ортов, то есть этот алгоритм квадратичен по порядку выполняемых операций. Критический путь этого алгоритма, как и в случае метода Гивенса, от которого метод Хаусхолдера отличается только коэффициентами в матрицах, линеен. <br />
<br />
Алгоритм, однако, в своём чистом виде практически не используется. Дело в том, что в [[QR-алгоритм|QR-алгоритме]], где QR-разложения хессенберговых матриц формально используются, для экономии ресурсов они давно применяются в неявном виде, а именно в составе QR-итераций с неявным двойным сдвигом<ref name = "Dem"> Деммель Д. Вычислительная линейная алгебра. – 2001. - С.261-264. </ref>.<br />
<br />
= Литература =<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%93%D0%B8%D0%B2%D0%B5%D0%BD%D1%81%D0%B0_(%D0%B2%D1%80%D0%B0%D1%89%D0%B5%D0%BD%D0%B8%D0%B9)_QR-%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_%D1%85%D0%B5%D1%81%D1%81%D0%B5%D0%BD%D0%B1%D0%B5%D1%80%D0%B3%D0%BE%D0%B2%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_(%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82)&diff=25340Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)2018-02-15T12:50:25Z<p>Frolov: /* Литература */</p>
<hr />
<div>{{level-a}} <br />
<br />
'''Метод Гивенса''' (в отечественной математической литературе называется также '''методом вращений''') используется для разложения матриц в виде <math>A = QR</math> (<math>Q</math> - унитарная, <math>R</math> — правая треугольная матрица)<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>. При этом матрица <math>Q</math> хранится и используется не в явном виде, а в виде произведения матриц вращения. Каждая из матриц вращения (Гивенса)<br />
<br />
{{Шаблон:Матрица_вращения}}<br />
<br />
может быть определена парой индексов и одним параметром. Поскольку для QR-разложения хессенберговой матрицы нужно "обнулить" только элементы одной диагонали, то, в отличие от [[Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)|стандартной реализации метода Гивенса для плотной квадратной матрицы]], для него нужно выполнить всего <math>n-1</math> операций вращения, то есть этот алгоритм квадратичен по порядку выполняемых операций. Критический путь алгоритма, как и в случае плотных матриц, линеен. <br />
<br />
Алгоритм, однако, в своём чистом виде практически не используется. Дело в том, что в [[QR-алгоритм|QR-алгоритме]], где QR-разложения хессенберговых матриц формально используются, для экономии ресурсов они давно применяются в неявном виде, а именно в составе QR-итераций с неявным одинарным сдвигом<ref name = "Dem"> Деммель Д. Вычислительная линейная алгебра. – 2001. - С.261-264. </ref>.<br />
<br />
= Литература =<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_QR-%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D1%8B%D1%85_%D1%85%D0%B5%D1%81%D1%81%D0%B5%D0%BD%D0%B1%D0%B5%D1%80%D0%B3%D0%BE%D0%B2%D1%8B%D1%85_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86&diff=25339Методы QR-разложения плотных хессенберговых матриц2018-02-15T12:49:39Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
Задача '''QR-разложения плотных хессенберговых матриц''' встречается в качестве этапа одной итерации [[QR-алгоритм|QR-алгоритма]]. Однако для современных вариантов [[QR-алгоритм|QR-алгоритма]] её решают неявно, используя то, что на итерации затем нужно выполнить так же неявно умножение RQ. При этом, в зависимости от выбора сдвига, используются как схема с неявным одиночным сдвигом, опирающаяся на метод Гивенса, так и схема с неявным двойным сдвигом, опирающаяся на метод Хаусхолдера.<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D1%82%D1%80%D0%B5%D1%83%D0%B3%D0%BE%D0%BB%D1%8C%D0%BD%D0%BE%D0%B3%D0%BE_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%93%D1%80%D0%B0%D0%BC%D0%B0&diff=25338Метод треугольного разложения матрицы Грама2018-02-15T12:49:02Z<p>Frolov: </p>
<hr />
<div>{{level-m}}<br />
<br />
'''Метод треугольного разложения матрицы Грама''' для нахождения QR-разложения квадратной матрицы работает только в условиях гарантированной невырожденности исходной матрицы <math>A</math>. Состоит из трёх частей: нахождение матрицы Грама <math>A^*A</math> столбцов исходной матрицы, [[Метод_Холецкого_(нахождение_симметричного_треугольного_разложения)|нахождение_симметричного_треугольного_разложения]] матрицы Грама <math>A^*A</math> в виде <math>R^*R</math>, нахождение унитарной матрицы <math>Q=AR^{-1}</math>, например, с помощью модифицированной обратной подстановки.<br />
<br />
На практике не применяется не только из-за ограничения, связанного с невырожденностью, но и по той простой причине, что обусловленность матрицы Грама квадратична по сравнению с обусловленностью исходной матрицы.<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D1%80%D1%82%D0%BE%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8&diff=25337Метод ортогонализации2018-02-15T12:48:08Z<p>Frolov: </p>
<hr />
<div>{{level-m}}<br />
<br />
Основные авторы описания: [[Участник:DVIN|Инжелевская Дарья Валерьевна]](текст), [[Участник:Frolov|А.В.Фролов]](общая редактура) <br />
<br />
'''Ортогонализация Грама-Шмидта''' — это один из методов, в которых на основе множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> строится множество ортогональных векторов <math>{\displaystyle \mathbf {b}_{1},\;\ldots ,\;\mathbf {b} _{N}} </math> или ортонормированных векторов <math>{\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e}_{N}} </math>, причём так, что каждый вектор <math>{\displaystyle \mathbf {b} _{j}} </math> или <math>{\displaystyle \mathbf {e} _{j}}</math> может быть выражен линейной комбинацией векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\; \mathbf {a} _{j}}</math>. Данный процесс может быть использован для получения [[QR-разложения плотных неособенных матриц|QR-разложения]], в которой систему исходных векторов образуют столбцы исходной матрицы, а столбцы матрицы Q представляют из себя набор полученных при ортогонализации векторов. Таким образом, в отличие от методов Гивенса (вращений) и Хаусхолдера (отражений), основанных на приведении матрицы левыми унитарными/ортогональными преобразованиями к треугольному виду, метод ортогонализации основан на приведении матрицы правыми неортогональными (можно сказать, треугольными) преобразованиями к унитарному/ортогональному виду.<br />
<br />
== Математические основы метода ==<br />
<br />
[[Классический метод ортогонализации|Классический метод ортогонализации QR-разложения квадратной матрицы (вещественный вариант)]] довольно прост, однако из-за неустойчивости, проявляющейся в неортогональности получаемых систем, крайне редко применяется на практике. <br />
<br />
Пусть имеются линейно независимые векторы <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math>.<br />
Пусть оператор проекции вектора <math>\mathbf{a}</math> на вектор <math>\mathbf{b}</math> определён следующим образом: <math>\mathbf{proj}_{\mathbf{b}}\,\mathbf{a} = {\langle \mathbf{a}, \mathbf{b} \rangle \over \langle \mathbf{b}, \mathbf{b}\rangle} \mathbf{b} ,</math> <br />
<br />
где <math>\langle \mathbf{a}, \mathbf{b} \rangle</math> — скалярное произведение векторов <math>\mathbf{a}</math> и <math>\mathbf{b}</math>. <br />
<br />
Скалярное произведение для двух векторов <math>\mathbf{ a= [a_1, a_2, ...,a_k]}</math> и <math>\mathbf{ b= [b_1, b_2, ..., b_k]}</math> в '''''k'''''-мерном действительном пространстве определяется как:<br />
:<math>\langle \mathbf{a}, \mathbf{b} \rangle=\sum_{i=1}^k a_ib_i=a_1b_1+a_2b_2+\cdots+ a_kb_k</math>.<br />
<br />
Этот оператор проецирует вектор <math>\mathbf{a}</math> коллинеарно вектору <math>\mathbf{b}</math>.<br />
<br />
Ортогональность векторов <math>\mathbf{a}</math> и <math>\mathbf{b}</math> достигается на шаге (2).<br />
<br />
Классический процесс Грама — Шмидта выполняется следующим образом:<br />
<br />
: <math><br />
{\begin{array}{lclr}<br />
{\mathbf {b}}_{1}&=&{\mathbf {a}}_{1}&(1)\\<br />
{\mathbf {b}}_{2}&=&{\mathbf {a}}_{2}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{2}&(2)\\<br />
{\mathbf {b}}_{3}&=&{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{3}&(3)\\<br />
{\mathbf {b}}_{4}&=&{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{3}}}\,{\mathbf {a}}_{4}&(4)\\<br />
&\vdots &&\\{\mathbf {b}}_{N}&=&{\mathbf {a}}_{N}-\displaystyle \sum _{{j=1}}^{{N-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{N}&(N)<br />
\end{array}}<br />
</math><br />
<br />
<br />
На основе каждого вектора <math>\mathbf{b}_j \;(j = 1 \ldots N)</math> может быть получен нормированный вектор: <math>\mathbf{e}_j = {\mathbf{b}_j\over \| \mathbf{b}_j \|}</math> (у нормированного вектора направление будет таким же, как у исходного, а норма — единичной). Норма в формуле - согласованная со скалярным произведением: <math>\| x \| = \sqrt{\langle x, x \rangle}</math><br />
<br />
Результаты процесса Грама — Шмидта:<br />
<br />
<math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_N</math> — система ортогональных векторов либо<br />
<br />
<math>\mathbf{e}_1,\;\ldots,\;\mathbf{e}_N</math> — система ортонормированных векторов.<br />
<br />
Наиболее используемой на практике формой метода является [[Метод ортогонализации с переортогонализацией|вариант метода ортогонализации с переортогонализацией]].<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%A5%D0%B0%D1%83%D1%81%D1%85%D0%BE%D0%BB%D0%B4%D0%B5%D1%80%D0%B0_(%D0%BE%D1%82%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9)_QR-%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B&diff=25336Метод Хаусхолдера (отражений) QR-разложения матрицы2018-02-15T12:46:49Z<p>Frolov: /* Литература */</p>
<hr />
<div>{{level-m}}<br />
<br />
'''Метод Хаусхолдера''' (в советской математической литературе чаще называется '''методом отражений''') используется для разложения матриц в виде <math>A=QR</math> (<math>Q</math> - унитарная, <math>R</math> — правая треугольная матрица)<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>. При этом матрица <math>Q</math> хранится и используется не в своём явном виде, а в виде произведения матриц отражения<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref>.<br />
<br />
{{Шаблон:Матрица отражений}}<br />
<br />
Кроме [[Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант|классического точечного варианта]], метод имеет много других, например, блочный.<br />
<br />
= Литература =<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%93%D0%B8%D0%B2%D0%B5%D0%BD%D1%81%D0%B0_(%D0%B2%D1%80%D0%B0%D1%89%D0%B5%D0%BD%D0%B8%D0%B9)_QR-%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B&diff=25335Метод Гивенса (вращений) QR-разложения матрицы2018-02-15T12:46:11Z<p>Frolov: /* Литература */</p>
<hr />
<div>{{level-m}} <br />
<br />
<br />
'''Метод Гивенса''' (в отечественной математической литературе называется также '''методом вращений''') используется для разложения матриц в виде <math>A = QR</math> (<math>Q</math> - унитарная, <math>R</math> — правая треугольная матрица)<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>. При этом матрица <math>Q</math> хранится и используется не в явном виде, а в виде произведения матриц вращения. Каждая из матриц вращения (Гивенса)<br />
<br />
<br />
<br />
{{Шаблон:Матрица_вращения}}<br />
<br />
может быть определена парой индексов и одним параметром. Это позволяет в [[Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)|стандартной реализации метода Гивенса]] хранить результаты разложения на месте матрицы <math>A</math> без использования дополнительных массивов.<br />
<br />
Кроме стандартной реализации, метод Гивенса имеет и другие, отличающиеся от стандартной либо порядком вращений, либо использованием блочной группировки.<br />
<br />
= Литература =<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=QR-%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D1%8B%D1%85_%D0%BD%D0%B5%D0%BE%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86&diff=25334QR-разложения плотных неособенных матриц2018-02-15T12:44:54Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
Нахождение разложения матриц в виде <math>A = QR</math>, где <math>Q</math> - унитарная, <math>R</math> — правая треугольная матрица<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>., является важным этапом при решении некоторых более сложных задач. Существование такого разложения, в котором правая треугольная матрица ещё и не содержит нулей на диагонали, доказано<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref> для невырожденных матриц. Однако в ряде случаев <math>QR</math>-разложение (возможно, с нулями на диагонали <math>R</math>) нужно и в задачах без гарантии невырожденности. Поэтому для нахождения такого разложения разработано несколько классических методов, являющихся конструктивным доказательством существования разложения в общем случае, а также их варианты. <br />
<br />
== Методы нахождения QR-разложения плотных неособенных матриц ==<br />
<br />
Классические методы QR-разложения можно разделить на две группы: приведения матрицы унитарными преобразованиями к треугольному виду и приведения матрицы неунитарными преобразованиями к унитарному виду. К первой группе относятся методы Гивенса (вращений) и Хаусхолдера (отражений), ко второй — метод ортогонализации. Строго говоря, доказательство теоремы<ref name="VOLA" /> о существовании даёт ещё один способ разложения — через разложение Холецкого матрицы <math>A^*A</math> с последующей обратной подстановкой, но для вырожденных матриц он не работает, поэтому обычно не применяется. <br />
<br />
=== Методы приведения унитарными преобразованиями к треугольному виду ===<br />
<br />
==== Метод Гивенса ====<br />
<br />
Классический [[Метод Гивенса (вращений) QR-разложения матрицы|метод Гивенса (вращений)]] основан на преобразованиях вращения (умножения на матрицы Гивенса) слева для приведения матрицы к правому треугольному виду <math>R</math>. Имеет линейный по размеру задачи критический путь графа.<br />
<br />
==== Метод Хаусхолдера ====<br />
<br />
Классический [[Метод Хаусхолдера (отражений) QR-разложения матрицы|метод Хаусхолдера (отражений)]] основан на преобразованиях отражения (Хаусхолдера) слева для приведения матрицы к правому треугольному виду <math>R</math>. Устойчивый классический вариант имеет квадратичный по размеру задачи критический путь графа, применение сдваивания уменьшает его до <math>O (n log_{2} n)</math>. Тем не менее, в библиотеках программ более популярен, чем метод Гивенса, из-за того, что легче опирается на базовые подпрограммы библиотеки BLAS.<br />
<br />
=== Другие методы ===<br />
<br />
==== Метод ортогонализации ====<br />
<br />
[[Метод ортогонализации]] основан на процессе ортогонализации столбцов матрицы. Таким образом, правыми треугольными преобразованиями матрица приводится к унитарному виду <math>Q</math>. Классический метод неустойчив, а переортогонализация делает этот метод более медленным.<br />
<br />
==== Метод треугольного разложения матрицы Грама ====<br />
<br />
Практически не применяющийся [[Метод треугольного разложения матрицы Грама|метод]] работает только в условиях гарантированной невырожденности исходной матрицы <math>A</math>. Состоит из трёх частей: нахождение матрицы Грама <math>A^*A</math> столбцов исходной матрицы, [[Метод_Холецкого_(нахождение_симметричного_треугольного_разложения)|нахождение_симметричного_треугольного_разложения]] матрицы Грама <math>A^*A</math> в виде <math>R^*R</math>, нахождение унитарной матрицы <math>Q=AR^{-1}</math>, например, с помощью модифицированной обратной подстановки.<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D0%BD%D0%B8%D1%82%D0%B0%D1%80%D0%BD%D0%BE-%D1%82%D1%80%D0%B5%D1%83%D0%B3%D0%BE%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F&diff=25333Унитарно-треугольные разложения2018-02-15T12:44:13Z<p>Frolov: </p>
<hr />
<div>{{level-p}}<br />
<br />
'''Унитарно-треугольные разложения''' - разложения матриц в произведение треугольной и унитарной (в вещественном случае ортогональных). <br />
<br />
Наиболее разработано из них нахождение [[QR-разложения плотных неособенных матриц|QR-разложения]]. Остальные же варианты задачи (LQ, QL и т.п.) сводимы к нему.<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BE%D0%BC%D0%BF%D0%B0%D0%BA%D1%82%D0%BD%D0%B0%D1%8F_%D1%81%D1%85%D0%B5%D0%BC%D0%B0_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%B0_%D0%93%D0%B0%D1%83%D1%81%D1%81%D0%B0_%D0%B8_%D0%B5%D1%91_%D0%BC%D0%BE%D0%B4%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D0%B8&diff=25332Компактная схема метода Гаусса и её модификации2018-02-15T12:43:07Z<p>Frolov: </p>
<hr />
<div>{{level-m}}<br />
<br />
'''Компактная схема метода Гаусса''' - метод получения для невырожденной квадратной матрицы A её LU-разложения непосредственным решением скалярных уравнений, следующих из матричного <math>A=LU</math>. Требует невырожденности всех главных миноров матрицы A. <br />
<br />
Основным вариантом является [[Компактная схема метода Гаусса для плотной матрицы]]. Для матриц с существенным регулярным разрежением (ленточных, [[Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации|трёх-]] и более диагональных и т.п.) формулы алгоритмов учитывают наличие этого разрежения.<br />
<br />
В случае симметричности вариантом компактной схемы метода Гаусса, использующим симметрию, является <math>LDL^*</math>-разложение, считающееся также вариантом [[Метод Холецкого (нахождение симметричного треугольного разложения)|метода Холецкого]].</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=LU-%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%BC_%D0%93%D0%B0%D1%83%D1%81%D1%81%D0%B0_%D0%B1%D0%B5%D0%B7_%D0%BF%D0%B5%D1%80%D0%B5%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BE%D0%BA&diff=25331LU-разложение методом Гаусса без перестановок2018-02-15T12:42:19Z<p>Frolov: </p>
<hr />
<div>{{level-m}}<br />
<br />
'''Метод Гаусса без перестановок''' - метод получения для невырожденной квадратной матрицы A её LU-разложения (<math>A=LU</math>). Основывается в разных вариантах либо [[LU-разложение методом Гаусса|на идее исключения ненулевых элементов с помощью элементарных преобразований]] либо [[Компактная схема метода Гаусса и её модификации|на разрешении уравнения]] <math>A=LU</math> относительно матриц L и U.<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=LU-%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%BE%D0%BC_%D0%93%D0%B0%D1%83%D1%81%D1%81%D0%B0_%D1%81_%D0%BF%D0%B5%D1%80%D0%B5%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0%D0%BC%D0%B8&diff=25330LU-разложение методом Гаусса с перестановками2018-02-15T12:41:33Z<p>Frolov: </p>
<hr />
<div>{{level-m}}<br />
<br />
'''Метод Гаусса с перестановками''' - метод получения для некоторой перестановки <math>P_{1} A P_{2}</math> невырожденной квадратной матрицы A LU-разложения (<math>P_{1} A P_{2} = L U</math>). Основывается во всех своих вариантах на идее исключения ненулевых элементов с помощью элементарных преобразований.<br />
<br />
Существуют варианты с выбором ведущего элемента по [[LU-разложение методом Гаусса с выбором ведущего элемента по столбцу|столбцу]] (<math>P_{2}=E</math>), [[LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице|по всей матрице]] (<math>P_{1} \ne P_{2}</math>), [[LU-разложение методом Гаусса с выбором ведущего элемента по строке|по строке]] (<math>P_{1}=E</math>) и [[LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали|по главной диагонали]] (<math>P_{1} = P_{2}</math>). Наиболее употребительны и чаще встречаются в библиотеках первые две модификации.<br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BE%D0%BC%D0%BF%D0%B0%D0%BA%D1%82%D0%BD%D0%B0%D1%8F_%D1%81%D1%85%D0%B5%D0%BC%D0%B0_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%B0_%D0%93%D0%B0%D1%83%D1%81%D1%81%D0%B0_%D0%B4%D0%BB%D1%8F_%D1%82%D1%80%D1%91%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B,_%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=25329Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант2018-02-15T12:40:16Z<p>Frolov: /* Литература */</p>
<hr />
<div>{{algorithm<br />
| name = Компактная схема метода Гаусса<br /> для трёхдиагональной матрицы<br />
| serial_complexity = <math>3n-3</math><br />
| pf_height = <math>3n-3</math><br />
| pf_width = <math>1</math><br />
| input_data = <math>3n-2</math><br />
| output_data = <math>3n-2</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]]<br />
<br />
== Свойства и структура алгоритмов ==<br />
=== Общее описание алгоритма ===<br />
<br />
'''Компактная схема метода Гаусса для трёхдиагональной матрицы'''<ref>Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref>Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вычисляет такое <math>LU</math>-разложение трёхдиагональной матрицы <br />
<br />
{{Шаблон:Трёхдиагональная матрица стандартной формы}}<br />
<br />
на две двухдиагональные:<br />
<br />
{{Шаблон:L2dUniDiag}} <br />
и <br />
{{Шаблон:U2dCommon}}.<br />
<br />
При такой фиксации диагонали матрицы <math>L</math> все элементы разложения становятся строго предопределёнными, с точностью до ошибок округления. Компактная схема даёт естественные формулы нахождения остальных элементов получающихся двухдиагональных матриц.<br />
<math>LU</math>-разложение трёхдиагональной матрицы является частным случаем для [[Компактная схема метода Гаусса для плотных матриц|компактной схемы метода Гаусса]] общего вида, однако из-за специфики матрицы характеристики алгоритма кардинально меняются по сравнению с компактной схемой для плотных матриц.<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
Формулы алгоритма следующие:<br />
<br />
<math>u_{11} = a_{11} </math><br />
<br />
<math>u_{i i+1} = a_{i i+1}, \quad i \in [1, n-1] </math><br />
<br />
<math>l_{i+1 i} = a_{i+1 i} / u_{i i} , \quad i \in [1, n-1] </math><br />
<br />
<math>u_{ii} = a_{ii} - l_{i i-1} u_{i-1 i}, \quad i \in [2, n] </math><br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Как видно из формул, n-1 раз повторяется одна и та же последовательность трёх операций: деление, умножение, вычитание. <br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В качестве макровершины можно взять последовательность трёх операций: деление, умножение, вычитание. Эти макровершины выполняются в алгоритме n-1 раз. <br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
В схеме учтено, что ряд выходных данных вычислять не нужно - они совпадают с входными. В частности,<br />
<br />
<math>u_{11} = a_{11} </math><br />
<br />
<math>u_{i i+1} = a_{i i+1}, \quad i \in [1, n-1]</math>.<br />
<br />
В начале процесса <math>i = 1</math><br />
<br />
1. Вычисляется <math>l_{i+1 i} = a_{i+1 i} / u_{i i}</math><br />
<br />
<math>i</math> увеличивается на 1<br />
<br />
2. Вычисляется <math>u_{ii} = a_{ii} - l_{i i-1} u_{i-1 i}</math><br />
<br />
Если <math>i = n</math>, то конец, иначе возврат к п.1.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для разложения трёхдиагональной матрицы порядка n компактной схемой метода Гаусса в последовательном варианте требуется:<br />
<br />
* <math>n-1</math> делений,<br />
* <math>n-1</math> умножений,<br />
* <math>n-1</math> сложений (вычитаний).<br />
<br />
При классификации по последовательной сложности, таким образом, компактная схема метода Гаусса для разложения трёхдиагональной матрицы в последовательном варианте относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
<div class="thumb"><br />
<div class="thumbinner" style="width:{{#expr: 2 * (500 + 35) + 3 * (3 - 1) + 8}}px"><br />
<gallery widths=500px heights=500px><br />
File:3dLU.png|Рисунок 1. Граф алгоритма без отображения входных и выходных данных. / - деление, * - умножение, - - вычитание.<br />
File:3dLU_input.png| Рисунок 2. Граф алгоритма с отображением входных данных. / - деление, * - умножение, - - вычитание.<br />
</gallery><br />
</div><br />
</div><br />
<br />
Как видно из рис.1, на котором одна из операций разложена на 2 составляющие, информационный граф является чисто последовательным.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
<br />
При разложении трёхдиагональной матрицы порядка n компактной схемой метода Гаусса в требуется выполнить:<br />
<br />
* <math>n-1</math> ярусов делений,<br />
* <math>n-1</math> ярусов умножений,<br />
* <math>n-1</math> ярусов сложений (вычитаний).<br />
<br />
В каждом ярусе - ровно по одной операции. При классификации по параллельной сложности, таким образом, компактная схема метода Гаусса для разложения трёхдиагональной матрицы в последовательном варианте относится к алгоритмам ''с линейной сложностью''. Ширина ярусов везде равна 1, и, таким образом, весь алгоритм представляет собой сплошное "узкое место". <br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>).<br />
<br />
'''Объём входных данных''': <math>3n-2</math>. В разных реализациях размещение для экономии хранения может быть выполнено разным образом. Например, каждая диагональ может быть строкой массива. <br />
<br />
'''Выходные данные''': нижняя двухдиагональная матрица <math>L</math> (элементы <math>l_{ij}</math>, причём <math>l_{ii}=1</math>) и верхняя двухдиагональная матрица <math>U</math> (элементы <math>u_{ij}</math>).<br />
<br />
'''Объём выходных данных''': формально <math>3n-2</math>. Однако благодаря совпадению <math>n</math> входных и выходных данных реально вычисляется лишь <math>2n-2</math> элементов.<br />
<br />
=== Свойства алгоритма===<br />
<br />
Соотношение последовательной и параллельной сложности в случае любых ресурсов, как хорошо видно, является '''единицей''' (алгоритм не является распараллеливаемым).<br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – всего лишь '''константа''' (арифметических операций столько же, сколько данных).<br />
<br />
Описываемый алгоритм является полностью детерминированным. <br />
<br />
[[Глоссарий#Эквивалентное возмущение|Эквивалентное возмущение]] <math>M</math> у алгоритма не более возмущения <math>\delta A</math>, вносимому в матрицу при вводе чисел в компьютер:<br />
<math><br />
||M||_{E} \leq ||\delta A||_{E}<br />
</math><br />
<br />
== Программная реализация алгоритмов ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В простейшем варианте алгоритм на Фортране можно записать так:<br />
<source lang="fortran"><br />
DO I = 1, N-1<br />
A(I+1,I) = A(I+1,I)/A(I,I)<br />
A(I+1,I+1) = A(I+1,I+1) - A(I+1,I)*A(I,I+1)<br />
END DO<br />
</source><br />
Разложение размещается там же, где размещалась исходная матрица.<br />
Индексация такая же как и для плотной матрицы.<br />
<br />
Однако чаще трёхдиагональную матрицу, естественно, хранят более экономно. Например, если диагонали нумеруются слева направо и каждая хранится в одной строке массива, то получается такая версия:<br />
<source lang="fortran"><br />
DO I = 1, N-1<br />
A(1,I) = A(1,I)/A(2,I)<br />
A(2,I+1) = A(2,I+1) - A(1,I)*A(3,I)<br />
END DO<br />
</source><br />
в которой разложение также сохраняется на месте исходных данных.<br />
Элементы A(1,N) и A(3,N) при данном способе хранения не адресуются.<br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
По приведённым фрагментам программ видно, что степень локальности данных и вычислений очень высока. Особенно это выражено для второго варианта, в котором все данные, как используемые операцией, так и вычисляемые ей, хранятся и используются "рядом". Однако выигрыш от столь высокой локальности, однако, ограничен тем, что каждое перевычисляемое данное используется затем только однажды. Это вызвано простой причиной: количество обрабатываемых алгоритмом данных, как уже описано выше, равно количеству арифметических операций.<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Компактная схема метода Гаусса в применении к разложению трёхдиагональной матрицы - это чисто последовательный алгоритм. Его невозможно исполнять параллельно из-за того, что каждая из операций требует в качестве данных результат предыдущей и сама, в свою очередь, отдаёт результат как входное данное для следующей. <br />
<br />
Варианты распараллеливания компактной схемы метода Гаусса для трёхдиагональной матрицы используют ассоциативность операций, и, следовательно, представляют собой совсем другие алгоритмы, которые можно изучить на [[Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации|соответствующей странице]]. <br />
<br />
Кроме этого, возможен случай, когда нужны многие разложения разных трёхдиагональных матриц, тогда этот последовательный алгоритм может быть параллельно выполнен для этих матриц на разных узлах вычислительной системы.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
При чисто последовательном характере алгоритма его ресурсы параллельности полностью отсутствуют: выгоднее все вычисления проводить на одном процессоре.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Из-за последовательной структуры более или менее эффективно алгоритм в своём неизменном виде может быть выполнен только на вычислителе классической фон-неймановской архитектуры.<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с низким уровнем параллелизма]]<br />
[[Категория:Разложения матриц]]<br />
[[Категория:Решение систем линейных уравнений]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BE%D0%BC%D0%BF%D0%B0%D0%BA%D1%82%D0%BD%D0%B0%D1%8F_%D1%81%D1%85%D0%B5%D0%BC%D0%B0_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D0%B0_%D0%93%D0%B0%D1%83%D1%81%D1%81%D0%B0_%D0%B4%D0%BB%D1%8F_%D1%82%D1%80%D1%91%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%B8_%D0%B5%D1%91_%D0%BC%D0%BE%D0%B4%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D0%B8&diff=25328Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации2018-02-15T12:39:27Z<p>Frolov: /* Литература */</p>
<hr />
<div>{{level-m}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]]<br />
<br />
== Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации ==<br />
<br />
Треугольное разложение трёхдиагональной матрицы базируется на формулах треугольного разложения для матриц общего вида<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref>. Обычно встречающиеся в прикладных задачах трёхдиагональные матрицы имеют свойство диагонального преобладания, поэтому не возникает необходимости в применении перестановок для повышения устойчивости разложения. Использование свойств, базирующихся, например, на [http://stu.sernam.ru/lect_alg.php?id=71 формуле Бине-Коши] в её приложении к минорам матриц<ref name="MIV" />:<br />
<br />
{{Шаблон:Бине-Коши}}<br />
<br />
для миноров произведения двух матриц, показывает<ref name="VOLA" />, что для трёхдиагональной матрицы <br />
<br />
{{Шаблон:Трёхдиагональная_матрица_стандартной_формы}}<br />
<br />
<math>LU</math>-разложение будет содержать '''две двухдиагональные матрицы''':<br />
<br />
:<math><br />
L = \begin{bmatrix}<br />
l_{11} & 0 & 0 & \cdots & \cdots & 0 \\<br />
l_{21} & l_{22} & 0 & \cdots & \cdots & 0 \\<br />
0 & l_{32} & l_{33} & \cdots & \cdots & 0 \\<br />
\vdots & \vdots & \ddots & \ddots & \ddots & 0 \\<br />
0 & \cdots & \cdots & l_{n-1 n-2} & l_{n-1 n-1} & 0 \\<br />
0 & \cdots & \cdots & 0 & l_{n n-1} & l_{n n} \\<br />
\end{bmatrix}, U = \begin{bmatrix}<br />
u_{11} & u_{12} & 0 & \cdots & \cdots & 0 \\<br />
0 & u_{22} & u_{23}& \cdots & \cdots & 0 \\<br />
0 & 0 & u_{33} & \cdots & \cdots & 0 \\<br />
\vdots & \vdots & \ddots & \ddots & \ddots & 0 \\<br />
0 & \cdots & \cdots & 0 & u_{n-1 n-1} & u_{n-1 n} \\<br />
0 & \cdots & \cdots & 0 & 0 & u_{n n} \\<br />
\end{bmatrix}<br />
</math><br />
<br />
Поэтому формулы компактной схемы метода Гаусса и её модификаций существенно упрощаются. <br />
<br />
=== <math>LU</math>-разложение ===<br />
<br />
==== Компактная схема метода Гаусса для трёхдиагональной матрицы ====<br />
<br />
[[Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант|'''Компактная схема метода Гаусса для трёхдиагональной матрицы''']] вычисляет такое <math>LU</math>-разложение на две двухдиагональные матрицы, в котором у нижней двухдиагональной матрицы <math>L</math> на диагонали стоят только единицы: <br />
<br />
{{Шаблон:L2dUniDiag}}<br />
<br />
Формулы метода следующие:<br />
<br />
<math>u_{11} = a_{11}</math><br />
<br />
<math>u_{i i+1} = a_{i i+1}</math>, <math>\quad i \in [1, n-1]</math><br />
<br />
<math>l_{i+1 i} = a_{i+1 i} / u_{i i} </math>, <math>\quad i \in [1, n-1] </math><br />
<br />
<math>u_{ii} = a_{ii} - l_{i i-1} u_{i-1 i}</math>, <math>\quad i \in [2, n] </math><br />
<br />
Подробно её свойства описаны на [[Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант|соответствующей странице]]. В неизменённом виде не подлежит распараллеливанию, алгоритм чисто последовательный.Существует и блочная версия разложения - для блочно-трёхдиагональных матриц.<br />
Компактная схема метода Гаусса легко подвергается модификации, в которой не в матрице <math>L</math>, а в матрице <math>U</math> на диагонали только единицы. Это используется, например, в качестве части метода [[Прогонка, точечный вариант|прогонки]].<br />
<br />
==== Алгоритм Стоуна для <math>LU</math>-разложения трёхдиагональной матрицы ====<br />
<br />
[[Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы]] является частью [[Метод сдваивания Стоуна|алгоритма Стоуна]]<ref>Stone H.S. An Efficient Parallel Algorithm for the Solution of a Tridiagonal Linear System of Equations // J. ACM, Vol. 20, No. 1 (Jan. 1973), P. 27-38.</ref> для решения трёхдиагональных СЛАУ и является '''первым''' параллельным алгоритмом <math>LU</math>-разложения трёхдиагональной матрицы. Математическая его основа - линейная рекуррентная формула для главных миноров раскладываемой матрицы. После записи этой рекуррентной формулы в матричном виде оказывается, что можно воспользоваться ассоциативностью операции перемножения матриц. Стоун использовал для распараллеливания схему сдваивания. Однако область устойчивости этого метода гораздо уже, чем у компактной схемы метода Гаусса, несмотря на то, что искомые матрицы - те же самые. Блочная схема метода для блочно-трёхдиагональных матриц не разрабатывалась, хотя теоретически и может существовать, из-за неустойчивости схемы. <br />
<br />
Подробно свойства алгоритма Стоуна описаны на [[Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы|соответствующей странице]].<br />
<br />
==== Последовательно-параллельный алгоритм для <math>LU</math>-разложения трёхдиагональной матрицы ====<br />
<br />
[[Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы]] разработан<ref>А.В.Фролов. Ещё один метод распараллеливания прогонки с использованием ассоциативности операций // Суперкомпьютерные дни в России: Труды международной конференции (28-29 сентября 2015 г., г. Москва). – М.: Изд-во МГУ, 2015. с. 151-162</ref> для распараллеливания нахождения того же <math>LU</math>-разложения трёхдиагональной матрицы, что получается из [[Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант|компактной схемы метода Гаусса]]. Как и [[Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы|метод Стоуна]], использует ассоциативность умножения матриц, но использует также нормировку в последовательных ветвях вычислений, что даёт схеме большую область устойчивости, чем у схемы Стоуна. Для блочно-трёхдиагональных матриц существует блочная версия метода, для которой, однако, необходима невырожденность блоков не только на главной, но и на одной из побочных диагоналей матрицы.<br />
<br />
=== <math>LDU</math>-разложение ===<br />
<br />
В случае, если существует <math>LU</math>-разложение на две двухдиагональные матрицы, в котором нижняя двухдиагональная матрица <math>L</math> имеет на главной диагонали только единицы, легко можно найти и <math>LDU</math>-разложение, в котором и верхняя двухдиагональная матрица также имеет на главной диагонали только единицы:<br />
<br />
{{Шаблон:U2dUniDiag}}<br />
<br />
Формулы видоизменённой компактной схемы метода Гаусса для нахождения этого разложения выглядят следующим образом:<br />
<br />
<math>d_{11} = a_{11} </math><br />
<br />
<math>u_{i i+1} = a_{i i+1} / d_{i i}, \quad i \in [1, n-1] </math><br />
<br />
<math>l_{i+1 i} = a_{i+1 i} / d_{i i} , \quad i \in [1, n-1] </math><br />
<br />
<math>d_{ii} = a_{ii} - l_{i i-1} a_{i-1 i}, \quad i \in [2, n] </math><br />
<br />
Аналогично, добавлением делений можно видоизменить и формулы метода Стоуна и последовательно-параллельного метода разложения. <br />
<br />
Получаемое разложение легче использовать для решения трёхдиагональных СЛАУ, поскольку в обоих подстановках деление не будет перемежаться с операциями умножения-сложения/вычитания.<br />
<br />
== Компактная схема треугольного разложения для трёхдиагональной эрмитовой матрицы и её модификации ==<br />
<br />
Эрмитовость трёхдиагональной матрицы позволяет вычислять такое её разложение, которое можно хранить в меньшей памяти с учетом симметрии разложения. <br />
<br />
=== <math>LL^*</math>-разложение ===<br />
<br />
Для вычисления <math>LL^*</math>-разложения матрицы логично использовать [[Разложение Холецкого (метод квадратного корня)|метод Холецкого]], формулы которого после коррекции будут адаптированы под трёхдиагональность исходной матрицы и двухдиагональность результата:<br />
<br />
<math>l_{11} = \sqrt{a_{11}}, </math><br />
<br />
<math>l_{i+1 i} = \frac{a_{i+1 i}}{l_{ii}}, \quad i \in [1, n-1], </math><br />
<br />
<math>l_{ii} = \sqrt{a_{ii} - |l_{i i-1}|^2}, \quad i \in [2, n]. </math><br />
<br />
Аналогичные изменения можно провести в методах Стоуна и последовательно-параллельного <math>LU</math>-разложения. <br />
Однако на практике использование схемы с квадратными корнями для трёхдиагональных матриц не нужно, поскольку есть более быстрое <math>LDL^*</math>-разложение.<br />
<br />
=== <math>LDL^*</math>-разложение ===<br />
<br />
<math>LDL^*</math>-разложение для трёхдиагональной эрмитовой матрицы - самое экономное из последовательных её разложений. Формулы разложения имеют вид:<br />
<br />
<math>d_{11} = a_{11} </math><br />
<br />
<math>l_{i+1 i} = a_{i+1 i} / d_{i i} , \quad i \in [1, n-1] </math><br />
<br />
<math>d_{ii} = a_{ii} - l_{i i-1} a_{i i-1}^*, \quad i \in [2, n] </math><br />
<br />
Аналогично, можно видоизменить и формулы метода Стоуна и последовательно-параллельного метода разложения. <br />
Как и для <math>LDU</math>-разложения, при решении СЛАУ с трёхдиагональной матрицей с помощью <math>LDL^*</math>-разложения легче решаются полученные двухдиагональные СЛАУ.<br />
<br />
== Разложения для трёхдиагональных матриц специального вида ==<br />
<br />
Для некоторых матриц специального вида, получаемых из известных операторов математической физики, в том числе и для трёхдиагональных матриц, известны аналитические выражения для их характеристик, в том числе и значения главных миноров. Несмотря на это, широко распространено явление, когда исследователи, работающие с такими матрицами, вместо того, чтобы воспользоваться готовыми формулами разложений, применяют к ним вышеописанные методы, нерационально тратя компьютерное время. <br />
<br />
[[Разложения для трёхдиагональных матриц специального вида]] можно найти на специальной отдельной странице.<br />
<br />
== Использование разложений ==<br />
<br />
Обычно разложения трёхдиагональных матриц в произведение двухдиагональных (и, возможно, ещё одной диагональной) используют для [[Решения СЛАУ с трёхдиагональными матрицами|решения СЛАУ с трёхдиагональной матрицей]], полученной из какой-либо физической модели. Поэтому зачастую полезность того или иного метода разложения следует сравнивать не только с другими методами разложения трёхдиагональных матриц, но и с различными методами решения СЛАУ с такими матрицами, в том числе и не использующими такие разложения - например, такими, как [[Метод циклической редукции|метод циклической редукции]] или [[Метод окаймления|метод окаймления]].<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Разложения матриц]]<br />
[[Категория:Решение систем линейных уравнений]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D1%8F:%D0%97%D0%B0%D0%BA%D0%BE%D0%BD%D1%87%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B8_%D0%B1%D0%B5%D0%B7_%D0%BF%D0%B5%D1%80%D0%B5%D0%B2%D0%BE%D0%B4%D0%B0_%D0%BD%D0%B0_%D0%B0%D0%BD%D0%B3%D0%BB%D0%B8%D0%B9%D1%81%D0%BA%D0%B8%D0%B9_%D1%8F%D0%B7%D1%8B%D0%BA&diff=25327Категория:Законченные статьи без перевода на английский язык2018-02-15T12:37:05Z<p>Frolov: Новая страница: «Рабочая категория для редакторов, объединяет статьи, которые готовы к переводу.»</p>
<hr />
<div>Рабочая категория для редакторов, объединяет статьи, которые готовы к переводу.</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D1%81%D0%B4%D0%B2%D0%B0%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A1%D1%82%D0%BE%D1%83%D0%BD%D0%B0_%D0%B4%D0%BB%D1%8F_LU-%D1%80%D0%B0%D0%B7%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_%D1%82%D1%80%D1%91%D1%85%D0%B4%D0%B8%D0%B0%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B&diff=25326Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы2018-02-15T12:35:40Z<p>Frolov: /* Литература */</p>
<hr />
<div>{{algorithm<br />
| name = Метод сдваивания Стоуна для решения двудиагональных СЛАУ<br />
| serial_complexity = <math>3(n-1)\lceil \log_2 (n-1) \rceil + o((n-1)\lceil \log_2 (n-1) \rceil)</math><br />
| pf_height = <math>2 \lceil \log_2 (n-1) \rceil + 3</math><br />
| pf_width = <math>n</math><br />
| input_data = <math>3n-2</math><br />
| output_data = <math>2n-1</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]]<br />
<br />
== Свойства и структура алгоритмов ==<br />
=== Общее описание алгоритма ===<br />
<br />
'''Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы''' - часть [[Метод сдваивания Стоуна|метода сдваивания Стоуна]] для решения СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ в стандартном виде}}<br />
<br />
[[Метод сдваивания Стоуна]] впервые предложен в начале 70-х гг. 20го века<ref name="STONE">Stone H.S. An Efficient Parallel Algorithm for the Solution of a Tridiagonal Linear System of Equations // J. ACM, Vol. 20, No. 1 (Jan. 1973), P. 27-38.</ref> в качестве альтернативы другим параллельным алгоритмам решения трёхдиагональных СЛАУ, например, [[Полный метод циклической редукции|методу циклической редукции]]. <br />
<br />
Здесь рассматривается его первая часть - <math>LU</math>-разложение. Оно состоит в представлении матрицы <br />
<br />
{{Шаблон:Трёхдиагональная матрица стандартной формы}}<br />
<br />
в виде произведения матриц<br />
<br />
{{Шаблон:L2dUniDiag}}<br />
<br />
и <br />
<br />
{{Шаблон:U2dCommon}}<br />
<br />
Важным моментом является то, что в условиях точных вычислений алгоритм сдваивания Стоуна вычисляет то же самое разложение, что и [[Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант|компактная схема метода Гаусса]].<br />
<br />
Теоретически метод Стоуна основан на том, что, если ввести величины <math>q_i</math> так, что <math>q_0 = 1</math>, <math>q_1 = a_{11}</math> и <math>q_i = a_{ii} q_{i-1} - a_{ii-1}a_{i-1i} q_{i-2}</math>, то после вычисления всех <math>q_i</math> легко вычислить все <math>u_{ii} = q_i/q_{i-1}</math>, <math>l_{ii-1} = a_{ii-1}/u_{i-1i-1}</math>. При этом не нужно вычислять <math>u_{ii+1} = a_{ii+1}</math>. <br />
<br />
Вычисление всех <math>q_i</math> производится с использованием ассоциативности матричного умножения. Из рекуррентной связи <math>q_i = a_{ii} q_{i-1} - a_{ii-1}a_{i-1i} q_{i-2}</math> следует матричное равенство<br />
<br />
:<math><br />
\begin{bmatrix}<br />
q_i \\<br />
q_{i-1} \\<br />
\end{bmatrix} = \begin{bmatrix}<br />
a_{ii} & -a_{ii-1}a_{i-1i} \\<br />
1 & 0 \\<br />
\end{bmatrix} \begin{bmatrix}<br />
q_{i-1} \\<br />
q_{i-2} \\<br />
\end{bmatrix} = T_i \begin{bmatrix}<br />
q_{i-1} \\<br />
q_{i-2} \\<br />
\end{bmatrix} = T_i T_{i-1}...T_2 \begin{bmatrix}<br />
q_{1} \\<br />
q_{0} \\<br />
\end{bmatrix} = T_i T_{i-1}...T_2 \begin{bmatrix}<br />
a_{11} \\<br />
1 \\<br />
\end{bmatrix}<br />
</math><br />
<br />
Произведения матриц <math>T_i T_{i-1}...T_2</math> вычисляются параллельной схемой сдваивания. При этом благодаря тому, что вторая строка всех матриц <math>T_i</math> равна первой строке единичной матрицы, вторая строка произведения <math>T_i T_{i-1}...T_k</math> совпадает с первой строкой произведения <br />
<math>T_{i-1}...T_k</math>, что позволяет сэкономить вычисления вдвое против перемножения неособенных матриц этого же порядка.<br />
<br />
[[file:DoublingPartUniver.png|thumb|right|600px|Рисунок 1. Граф вычисления произведений матриц <math>T_{i}</math> при <math>n=9</math>. Каждая вершина на первом ярусе соответствует составной операции, состоящей из одного умножения и одной операции <math>a+bc</math>, на остальных ярусах - из двух операций <math>ab+cd</math>. В чёрных вершинах вычисляются используемые далее результаты, в светлых - промежуточные]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
Вначале полагается для всех <math>i</math> от 2 до <math>n</math><br />
<br />
<math>p_i = a_{ii}, r_i = -a_{ii-1}a_{i-1i}</math>, <br />
<br />
а также<br />
<br />
<math>p_1 = 0, r_1 = 1</math>.<br />
<br />
Затем вычисления на каждом шаге (номер шага обозначим <math>k</math>) ведутся так: <br />
<br />
начиная с <math>i</math> с 2, пропускают <math>2^{k-1}</math> чисел, а потом для <math>2^{k-1}</math> чисел <br />
берут ближайшее для них снизу <math>j</math> вида <math>j = 1 + 2^{k} m </math>. <br />
<br />
Для первого шага перевычисляются новые значения <math>p_i, r_i</math> по формулам:<br />
<math>p^{new}_i = p_i p_{i-1}, r^{new}_i = p_i r_{i-1} + r_i</math>, <br />
а для остальных шагов - по формулам <math>p^{new}_i = p_i p_{j}+r_i p_{j-1}, r^{new}_i = p_i r_{j} + r_i r_{j-1}</math>. <br />
<br />
Затем опять пропускают <math>2^{k-1}</math> чисел, повторяют для <math>2^{k-1}</math> чисел такие же вычисления, и так до исчерпания диапазона всего значений <math>i</math> от 2 до <math>n</math>. <br />
<br />
Шаги повторяют до тех пор, пока не оказывается, что нужно пропустить все значения <math>i</math> от 2 до <math>n</math>. После этого выполняют вычисления<br />
<br />
<math>q_i = p_i a_{11} + r_i</math> для всех <math>i</math> от 1 до <math>n</math> и затем <math>u_{ii} = q_i/q_{i-1}</math>, <math>l_{ii-1} = a_{ii-1}/u_{i-1i-1}</math> для всех <math>i</math> от 2 до <math>n</math>.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма составляют в основной части операции типа <math>ab+cd</math> и <math>ab+c</math>, с небольшой добавкой отдельных умножений и делений. Изолированные длинные ветви вычислений отсутствуют.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
На макроуровне можно выделить такие 4 макрооперации: вычисление элементов матриц <math>T_i</math>, вычисление сдваиванием произведений матриц <math>T_{i}</math>, вычисление результатов.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Метод Стоуна изначально спроектирован для параллельного исполнения, поскольку является по отношению к, например, классической прогонке, алгоритмом с избыточными вычислениями. Смысла в его последовательной реализации нет ещё и из-за того, что он неустойчив.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для полного выполнения алгоритма Стоуна и получения разложения трёхдиагональной матрицы на две двудиагональные нужно выполнить:<br />
<br />
* <math>2n-2</math> делений, <br />
* <math>2(n-1)\lceil \log_2 (n-1) \rceil + o((n-1)\lceil \log_2 (n-1) \rceil)</math> умножений,<br />
* <math>(n-1)\lceil \log_2 (n-1) \rceil +o((n-1)\lceil \log_2 (n-1) \rceil)</math> сложений. <br />
<br />
Поэтому алгоритм должен быть отнесён к алгоритмам ''линейно-логарифмической сложности'' по количеству последовательных операций.<br />
<br />
=== Информационный граф ===<br />
<br />
Как уже отмечено, макроструктура алгоритма состоит из 4 частей.<br />
<br />
В первой части производится вычисление недиагональных элементов матриц <math>T_{i}</math>. <br />
<br />
Во второй части - вычисление сдваиванием произведений матриц <math>T_{i}</math>, оно показано на рисунке 1 и использует результаты 1й части. <br />
<br />
В третьей, последней, части - вычисление результатов, с использованием результатов 2й части. <br />
<br />
Внутренние графы 1й и 3й частей - пусты, их операции в зависимости только со 2й частью.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
<br />
На критическом пути алгоритма Стоуна для LU-разложения трёхдиагональной матрицы нужно выполнить:<br />
<br />
* <math>1</math> ярус делений, <br />
* <math>\lceil \log_2 (n-1) \rceil+1</math> ярусов умножений,<br />
* <math>\lceil \log_2 (n-1) \rceil+1</math> ярусов сложений. <br />
<br />
Поэтому алгоритм должен быть отнесён к алгоритмам ''логарифмической сложности'' по количеству последовательных операций. Ширина яруса равна <math>n</math>, поэтому алгоритм должен быть отнесён к алгоритмам ''линейной сложности'' по ширине ярусов.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>).<br />
<br />
'''Объём входных данных''': <math>3n-2</math>. В разных реализациях размещение для экономии хранения может быть выполнено разным образом. Например, каждая диагональ может быть строкой массива. <br />
<br />
'''Выходные данные''': нижняя двухдиагональная матрица <math>L</math> (элементы <math>l_{ij}</math>, причём <math>l_{ii}=1</math>) и верхняя двухдиагональная матрица <math>U</math> (элементы <math>u_{ij}</math>).<br />
<br />
'''Объём выходных данных''': формально <math>3n-2</math>. Однако благодаря совпадению <math>n</math> входных и выходных данных реально вычисляется лишь <math>2n-2</math> элементов.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, равно <math>O(n)</math>. <br />
<br />
При этом вычислительная мощность алгоритма как отношение числа операций к суммарному объему входных и выходных данных является ''логарифмической''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Устойчивость алгоритма остаётся только при условии невозрастания ведущих главных миноров матрицы. При росте миноров область устойчивости алгоритма очень мала.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Из-за большой избыточности вычислений алгоритм сдваивания Стоуна никогда не предназначался для последовательной реализации. После обнаружения его неустойчивости стало ясно, что и в будущем он не будет реализован на последовательных архитектурах.<br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Хотя исследование локальности и не имеет смысла из-за неустойчивости, можно сказать, что, как видно по графу алгоритма, ряд дуг длинны как по времени (по различию номеров ярусов операций, являющихся началом и концом дуги), так и по пространству (исключением является только размещение в гиперкубе, физически невозможное). Эта неустранимая нелокальность должна тормозить исполнение алгоритма. Реальное же исследование последовательного кода на обращения в память проводить бессмысленно, поскольку последовательный код не применяется и не будет применяться никем.<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Из-за неустойчивости алгоритма любые способы реализации теряют смысл. <br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
Из-за неустойчивости алгоритма не имеют смысла любые разговоры о масштабируемости любых его реализаций. <br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
Из-за неустойчивости алгоритма не имеют смысла любые замеры эффективности любых его реализаций и их динамических характеристик. Кроме того, из-за избыточности вычислений ясно, что реальная эффективность будет существенно ограничена даже при малых размерах задач, где неустойчивость ещё не сказывается.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
На области относительно приемлемых ошибок (малые размеры задач) у метода всё равно нет шансов на нормальную реализацию - быстрее будет СЛАУ прогонкой на обычной персоналке решить.<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Из-за неустойчивости алгоритма его не используют на практике, поэтому планировавшаяся в исходной публикации<ref name="STONE" /> замена более популярной [[Полный метод циклической редукции|циклической редукции]] не удалась.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Законченные статьи без перевода на английский язык]]<br />
[[Категория:Метод сдваивания]]<br />
[[Категория:Неустойчивые_параллельные_методы]]<br />
[[Категория:Алгоритмы с избыточными вычислениями]]<br />
[[Категория:Разложения матриц]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25325Классификация алгоритмов2018-02-05T11:16:39Z<p>Frolov: </p>
<hr />
<div>__TOC__<br />
= Задачи алгебры =<br />
==Матричные и векторные операции==<br />
===Векторные операции===<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=== Умножения матриц на вектор ===<br />
==== Умножения неособенных матриц на вектор ====<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
==== Умножения матриц специального вида на вектор ====<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
===Матричные операции===<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
==Разложения матриц==<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
==Решение систем линейных уравнений==<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
==Решения спектральных задач==<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
==Алгебра многочленов==<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
<br />
<br />
= Алгоритмы на списках и массивах =<br />
==Алгоритмы поиска==<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
==Алгоритмы сортировки==<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
==Алгоритмы на графах==<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} <br />
# {{level|Пересечение звёздных многоугольников}}<br />
==Компьютерная графика==<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
<br />
=Исследование и моделирование компьютеров=<br />
==Тесты производительности компьютеров==<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
==Алгоритмы моделирования квантовых систем==<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
==Алгоритмы машинного обучения==<br />
# {{level|Алгоритм k средних (k-means)}}<br />
===Нейронные сети===<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
===Алгоритмы теории игр===<br />
<br />
= Прикладные задачи из разных областей =<br />
==Алгоритмы оптимизации==<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
==Решение систем нелинейных уравнений==<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
==Численные методы интегрирования==<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
==Алгоритмы решения уравнений математической физики==<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25324Классификация алгоритмов2018-02-03T14:02:36Z<p>Frolov: /* Задачи алгебры */</p>
<hr />
<div>__TOC__<br />
= Задачи алгебры =<br />
==Матричные и векторные операции==<br />
===Векторные операции===<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=== Умножения матриц на вектор ===<br />
==== Умножения неособенных матриц на вектор ====<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
==== Умножения матриц специального вида на вектор ====<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
===Матричные операции===<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
==Разложения матриц==<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
==Решение систем линейных уравнений==<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
==Решения спектральных задач==<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
==Алгебра многочленов==<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
<br />
=Алгоритмы на графах=<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
= Алгоритмы на списках и массивах =<br />
==Алгоритмы поиска==<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
==Алгоритмы сортировки==<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} <br />
# {{level|Пересечение звёздных многоугольников}}<br />
==Компьютерная графика==<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Алгоритмы машинного обучения=<br />
# {{level|Алгоритм k средних (k-means)}}<br />
==Нейронные сети==<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
=Алгоритмы теории игр=<br />
=Исследование и моделирование компьютеров=<br />
==Тесты производительности компьютеров==<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
==Алгоритмы моделирования квантовых систем==<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
<br />
= Прикладные задачи из разных областей =<br />
==Алгоритмы оптимизации==<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
==Решение систем нелинейных уравнений==<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
<br />
==Численные методы интегрирования==<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
==Алгоритмы решения уравнений математической физики==<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25323Классификация алгоритмов2018-02-03T13:59:25Z<p>Frolov: </p>
<hr />
<div>__TOC__<br />
= Задачи алгебры =<br />
==Векторные операции==<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
==Матрично-векторные операции==<br />
=== Умножения неособенных матриц на вектор ===<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
=== Умножения матриц специального вида на вектор ===<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
<br />
==Матричные операции==<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
==Разложения матриц==<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
==Решение систем линейных уравнений==<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
<br />
==Решения спектральных задач==<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
==Алгебра многочленов==<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
<br />
=Алгоритмы на графах=<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
= Алгоритмы на списках и массивах =<br />
==Алгоритмы поиска==<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
==Алгоритмы сортировки==<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} <br />
# {{level|Пересечение звёздных многоугольников}}<br />
==Компьютерная графика==<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Алгоритмы машинного обучения=<br />
# {{level|Алгоритм k средних (k-means)}}<br />
==Нейронные сети==<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
=Алгоритмы теории игр=<br />
=Исследование и моделирование компьютеров=<br />
==Тесты производительности компьютеров==<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
==Алгоритмы моделирования квантовых систем==<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
<br />
= Прикладные задачи из разных областей =<br />
==Алгоритмы оптимизации==<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
==Решение систем нелинейных уравнений==<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
<br />
==Численные методы интегрирования==<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
==Алгоритмы решения уравнений математической физики==<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25322Классификация алгоритмов2018-02-03T13:54:41Z<p>Frolov: </p>
<hr />
<div>__TOC__<br />
= Задачи алгебры =<br />
==Векторные операции==<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
==Матрично-векторные операции==<br />
=== Умножения неособенных матриц на вектор ===<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
=== Умножения матриц специального вида на вектор ===<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
<br />
==Матричные операции==<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
==Разложения матриц==<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
==Решение систем линейных уравнений==<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
<br />
==Решения спектральных задач==<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
==Алгебра многочленов==<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
=Решение систем нелинейных уравнений=<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
=Тесты производительности компьютеров=<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
<br />
=Численные методы интегрирования=<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
=Алгоритмы на графах=<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
= Алгоритмы на списках и массивах =<br />
==Алгоритмы поиска==<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
==Алгоритмы сортировки==<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} <br />
# {{level|Пересечение звёздных многоугольников}}<br />
==Компьютерная графика==<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
<br />
=Алгоритмы оптимизации=<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
=Алгоритмы машинного обучения=<br />
# {{level|Алгоритм k средних (k-means)}}<br />
==Нейронные сети==<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
=Алгоритмы теории игр=<br />
=Алгоритмы моделирования квантовых систем=<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
=Алгоритмы решения уравнений математической физики=<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25321Классификация алгоритмов2018-02-02T10:27:10Z<p>Frolov: </p>
<hr />
<div>__TOC__<br />
=Векторные операции=<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=Матрично-векторные операции=<br />
== Умножения неособенных матриц на вектор ==<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
== Умножения матриц специального вида на вектор ==<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
<br />
=Матричные операции=<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
=Разложения матриц=<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
=Решение систем линейных уравнений=<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
=Решение систем нелинейных уравнений=<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
=Решения спектральных задач=<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
=Тесты производительности компьютеров=<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
<br />
=Алгебра многочленов=<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
=Численные методы интегрирования=<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
=Алгоритмы на графах=<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
= Алгоритмы на списках и массивах =<br />
==Алгоритмы поиска==<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
==Алгоритмы сортировки==<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} <br />
# {{level|Пересечение звёздных многоугольников}}<br />
==Компьютерная графика==<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
<br />
=Алгоритмы оптимизации=<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
=Алгоритмы машинного обучения=<br />
# {{level|Алгоритм k средних (k-means)}}<br />
==Нейронные сети==<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
=Алгоритмы теории игр=<br />
=Алгоритмы моделирования квантовых систем=<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
=Алгоритмы решения уравнений математической физики=<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%91%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B5_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8&diff=25320Быстрое преобразование Фурье для степеней двойки2018-02-02T10:24:29Z<p>Frolov: Содержимое страницы заменено на «{{level-m}}»</p>
<hr />
<div>{{level-m}}</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8&diff=25319Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки2018-02-02T10:23:25Z<p>Frolov: /* Математическое описание алгоритма */</p>
<hr />
<div>{{algorithm<br />
| name = Простой алгоритм Кули-Тьюки<br />
| serial_complexity = <math>O (n log_{2} n)</math><br />
| pf_height = <math>O (log_{2} n)</math><br />
| pf_width = <math>n</math><br />
| input_data = <math>n</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]),[[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Простой алгоритм Кули-Тьюки''' - один из вариантов '''быстрого преобразования Фурье''' для ''комплексных'' векторов с размерностью, равной степени двойки, без использования специфичных приёмов, использующихся для степеней четвёрки, восьмёрки и др.<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref> Заключается в последовательном применении метода быстрого преобразования Фурье и сведении преобразования к последовательности преобразований Фурье размерности 2 и выполнения умножений на т.н. поворотные множители. Несмотря на то, что проигрывает алгоритмам Кули-Тьюки, разлагающим степени двойки на степени 4, 8 и др. и использующим их специфику, весьма распространён, что связано с самой простой из алгоритмов БПФ записью программной реализации.<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
Исходные данные: преобразуемый комплексный вектор <math>a</math> (элементы <math>a_{i}</math>).<br />
<br />
Вычисляемые данные: комплексный вектор - результат преобразования <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
Размерность векторов - <math>n</math>, причём <math>n = 2^l</math><br />
<br />
==== Рекурсивное описание ====<br />
<br />
Вектор записывается по строкам по 2 элемента в каждой. После этого над каждой строкой выполняется преобразование Фурье порядка 2, <br />
получившиеся элементы умножаются на поворотные множители <math>exp (2 \pi i(m-1)(j-1)/n)</math> (<math>m</math> - номер строки, <math>j</math> - номер столбца), после чего выполняется БПФ порядка <math>n/2</math> над каждым из столбцов.<br />
Поскольку для 1-го столбца поворотные множители равны 1, то реально умножение на них не выполняется, а умножения на поворотные множители элементов второго столбца соединяются с преобразованием Фурье порядка 2. Эта комбинация, называемая "бабочкой" в среде специалистов по БПФ, и является основной операцией в простом алгоритме Кули-Тьюки. "Бабочка" состоит из вычисления суммы двух комплексных чисел, а также из вычисления их разности с последующим умножением на комплексное число. Всего на каждом шаге выполняется <math>n/2</math> "бабочек", а шагов - <math>l-1</math>. Последний, <br />
<math>l</math>-й шаг вычисляет только суммы и разности.<br />
<br />
==== Тригонометрические функции ====<br />
<br />
Несмотря на то, что в вычислениях используются поворотные множители <math>exp (2 \pi i(m-1)(j-1)/n)</math>, нецелесообразно вычислять их в процессе выполнения алгоритма Кули-Тьюки, поскольку вычисления косинусов и синусов (в мнимой экспоненте) тогда составили бы львиную долю вычислений алгоритма. Поэтому обычно (как и в других версиях БПФ) поворотные множители вычисляются заранее и хранятся в специальном массиве. Здесь мы будем предполагать, что алгоритм выполняется именно так.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма составляют "бабочки", состоящие из вычисления суммы двух комплексных чисел, а также из вычисления их разности с последующим умножением на комплексное число. Всего их <math>(1/2) n log_{2} n </math> штук, при этом в <math>n/2</math> из них умножение не выполняется.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
Макроструктура алгоритма лучше всего описывается рекурсивно, как <math>n/2</math> преобразований Фурье порядка 2, умножение <math>n/2</math> пар комплексных чисел и затем 2 БПФ порядка <math>n/2</math>. <br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Нерекурсивная схема организации состоит в том, что на каждом шаге (а всего их <math>log_{2} n </math>) для выполнения "бабочки" все элементы разбиваются на <math>n/2</math> пар. В зависимости от номера шага, разница координат для каждой пары элементов удваивается. На первом шагу она равна 1, на последнем - <math>n/2</math>. <br />
При этом результат суммы записывается в элемент с меньшим номером, а результат вычитания с последующим умножением - в элемент с большим. <br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Если считать только главные члены выражений для последовательной сложности алгоритма, то простой алгоритм Кули-Тьюки может быть выполнен за <math>n log_{2} n</math> операций комплексного сложения и <math>(1/2) n log_{2} n </math>операций комплексного умножения. Таким образом, простой алгоритм Кули-Тьюки может быть отнесён к ''линейно-логарифмическому'' классу по последовательной сложности.<br />
<br />
=== Информационный граф ===<br />
[[file:Cooley-Tukey Fourier Transform algorithm.png|center|thumb|600px|Рисунок 1. Простой алгоритм Кули-Тьюки для n=8. Op+ - операция сложения двух комплексных чисел. Op- - операция вычитания двух комплексных чисел и умножения результата вычитания на комплексное число (поворотный множитель). В последнем столбце операций умножение не производится. Привязка вершин выполнена по оси абсцисс - к параметру внешнего цикла, по оси ординат - к обрабатываемым элементам массива]]<br />
<br />
Как видно из рисунка, этот граф не является линейным ни по размерам, ни по формулам для дуг графа. По размерам он линейно-логарифмический, а формулы дуг имеют экспоненциальные компоненты.В элементарной "бабочке" на i-м шаге каждый раз участвует пара элементов массива, у которых запись их номеров, уменьшенных на единицу, в двоичной системе различается только в i-1-м бите.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
<br />
Если считать только главные члены выражений, то простой алгоритм Кули-Тьюки имеет критический путь, состоящий из <math>log_{2} n </math> операций комплексного сложения/вычитания и <math>log_{2} n </math> операций комплексного умножения. Таким образом, простой алгоритм Кули-Тьюки может быть отнесён к ''логарифмическому'' классу по параллельной сложности. По ширине ЯПФ сложность алгоритма ''линейна''.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': вектор <math>a</math> (элементы <math>a_{i}</math>).<br />
<br />
'''Объём входных данных''': <math>n</math> . <br />
<br />
'''Выходные данные''': вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''линейным''. <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – ''логарифмическая''.<br />
<br />
При этом алгоритм полностью детерминирован. <br />
<br />
Заметим, что простой алгоритм Кули-Тьюки не является оптимальным даже для векторов размером степень двойки. Однако здесь мы не рассматриваем другие алгоритмы БПФ.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
В простейшем варианте алгоритм на Фортране можно записать так, что входной и выходной массивы совпадают (здесь использован массив X):<br />
<br />
<source lang="fortran"><br />
<br />
subroutine STEP2(x,y,pov)<br />
complex x, y, pov, u, v<br />
u = x + y<br />
v = (x-y)*pov<br />
x = u<br />
y = v<br />
return<br />
end<br />
subroutine FFT2(X, POV, N, N2, L)<br />
C<br />
C L = Log2N<br />
C N2 = N/2<br />
C<br />
complex X(0:N-1), POV(0:N2-1)<br />
DO I = 0, L-1<br />
DO J = 0, N2/2**I-1<br />
DO K = 0, 2**I-1<br />
call STEP2(X(2*J*2**I+K)), X(2*J*2**I+2**I+K), POV(J*2**I))<br />
END DO<br />
END DO<br />
END DO<br />
return<br />
end<br />
<br />
</source><br />
<br />
Здесь предполагается, что поворотные множители первого шага (они потом используются и на последующих шагах) предвычислены заранее и лежат в элементах массива POV (а в его нулевом элементе - единица). К сожалению, подавляющее большинство реализаций простого алгоритма Кули-Тьюки вычисляет поворотные множители одновременно с вычислением "бабочки", что её значительно замедляет.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:cooley_tukey_1.png|thumb|center|700px|Рисунок 2. Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки. Общий профиль обращений в память]]<br />
<br />
На рис. 2 представлен профиль обращений в память для реализации простого алгоритма Кули-Тьюки быстрого преобразования Фурье для степеней двойки. Данный профиль состоит из обращений к двум массивам (разделены зеленой линией). В целом можно увидеть, что общее число обращений заметно больше числа задействованных данных, поэтому многие элементы используются повторно. Также видно, что вначале элементы обоих массивов перебираются последовательно, однако затем порядок обращений изменяется. Чтобы понять, как устроено это изменение, рассмотрим профиль подробнее.<br />
<br />
На рис. 3 представлен фрагмент 1 – обращения к началу первого массива на протяжении всей программы. Видно, что при каждом следующем переборе массива задействуется все меньше элементов – возрастает шаг, с которым выбираются элементы. Такое поведение характеризуется средней локальностью – с каждой итерацией увеличивается шаг, а значит, и ухудшается пространственная локальность. Однако при этом число обращений на итерацию уменьшается, а значит, уменьшается время до повторного обращения, т.е. улучшается временная локальность. <br />
<br />
Особенно стоит отметить конец фрагмента, где видно множество обращений к самому началу массива. Из рис. 2 видно, что есть еще несколько элементов массива, к которым в конце профиля выполняется множество обращений. Такой профиль является идеальным с точки зрения локальности – и пространственная, и временная локальности принимают практически максимальное значение.<br />
<br />
[[file:cooley_tukey_2.png|thumb|center|500px|Рисунок 3. Профиль обращений, фрагмент 1]]<br />
<br />
Далее рассмотрим рис. 4, на котором представлен характерный фрагмент для второго массива. Здесь можно увидеть, что строение каждой итерации очень похоже, только при переходе к следующей итерации увеличивается в 2 раза шаг по памяти, в результате чего видимые отрезки на рисунке увеличиваются вдвое. Такой фрагмент обладает не очень высокой пространственной локальностью, что связано с изменением шага, а также не очень высокой временной локальностью, поскольку между повторными обращениями на разных итерациях выполняется достаточно много обращений.<br />
<br />
[[file:cooley_tukey_3.png|thumb|center|500px|Рисунок 4. Профиль обращений, фрагмент 2]]<br />
<br />
В целом можно сказать, что основная масса обращений общего профиля показывает среднюю локальность, как пространственную, так и временную. Однако отмеченные в конце первого массива обращения к одним и тем же элементам могут в значительной степени повлиять на общую оценку.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/fft_complex/fft_complex.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 5 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Можно увидеть, что данная программа показывает результат немного хуже среднего, что примерно соответствует нашим ожиданиям согласно качественной оценке. Отметим, что вывод относительно среднего значения делается на основе анализа абсолютных значений, а не положения на графике (здесь не представлена часть программ с низкими значениями).<br />
Обратим внимание, что значение daps очень близко к daps для реализации уравнения Пуассона. Это вполне закономерно, поскольку данная реализация построена с использованием данной реализации БПФ.<br />
<br />
[[file:cooley_tukey_daps.png|thumb|center|700px|Рисунок 5. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
[[file:cooley_tukey_cvg.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки cvg]]<br />
<br />
На рисунке 6 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Можно увидеть, что данная реализация показывает наилучшее значение cvg среди всех рассмотренных программ. Это в определенной степени не соответствует качественному анализу и оценка daps. По всей видимости, здесь повлиял отмеченный выше фрагмент с обращениями к одним и тем же элементам, который в значительной степени улучшил значение оценки. Вероятно, стоит рассмотреть возможность модификации cvg для более аккуратного учета таких случаев.<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
=== Масштабируемость алгоритма и его реализации ===<br />
==== Масштабируемость алгоритма ====<br />
==== Масштабируемость реализации алгоритма ====<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4, 8 : 64] с шагом 8;<br />
* размер вектора [128 : 32768] с шагом равным степени двойки.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.000000002% (1.85994069951e-09%);<br />
* максимальная эффективность реализации 0.00002% (2.07351573426e-05%).<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Cooley perf.png|thumb|center|700px|Рисунок 7. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Cooley eff.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Алгоритм в силу своих особенностей имеет крайне низкую эффективность параллельного выполнения, связанную с крайне малым объемом вычислений на каждый процесс. Из-за этого накладные расходы на организацию параллельного выполнения становятся доминирующими при выполнении алгоритма.<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/Cooley-Tukey/fft.c параллельная реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
Для проведения экспериментов использовалась реализация алгоритма Кули-Тьюки, в реализации, доступной [http://git.algowiki-project.org/Teplov/Scalability/blob/master/Cooley-Tukey/fft.c здесь]. Все результаты получены на суперкомпьютере "ГрафИТ!". Использовались процессоры Intel Xeon X5570 с пиковой производительностью в 94 Гфлопс, а также компилятор Gnu 4.4.7. <br />
На рисунках показана эффективность реализации алгоритма Кули-Тьюки на 64 процессах.<br />
<br />
[[file:Cooley-Tukey CPU USER.png|thumb|center|700px|Рисунок 9. График загрузки CPU при выполнении алгоритма Кули-Тьюки]]<br />
<br />
На графике загрузки процессора видно, что почти все время работы программы уровень загрузки составляет около 20%. Это указывает на существенную недозагруженность вычислениями процессора. <br />
<br />
[[file:Cooley-Tukey CPU FLOPS.png|thumb|center|700px|Рисунок 10. График операций с плавающей точкой в секунду при выполнении алгоритма Кули-Тьюки]]<br />
<br />
На Рисунке 11 показан график количества операций с плавающей точкой в секунду. На графике видна общая низкая производительность вычислений.<br />
[[file:Cooley-Tukey L1.png|thumb|center|700px|Рисунок 11. График кэш-промахов L1 в секунду при работе алгоритма Кули-Тьюки]]<br />
<br />
На графике кэш-промахов первого уровня видно, что число промахов достаточно большое для нескольких ядер и находится на уровне 25 млн/сек. В среднем по всем узлам значения значительно ниже. Это указывает на неравномерное распределение вычислений.<br />
[[file:Cooley-Tukey L3.png|thumb|center|700px|Рисунок 12. График кэш-промахов L3 в секунду при работе алгоритма Кули-Тьюки]]<br />
<br />
На графике кэш-промахов третьего уровня видно, что число промахов все еще достаточно большое для небольшого числа процессов и находится на уровне 1,5 млн/сек, однако в среднем по всем узлам значения низкие. <br />
[[file:Cooley-Tukey MEM LOAD.png|thumb|center|700px|Рисунок 13. График количества чтений из оперативной памяти при работе алгоритма Кули-Тьюки]]<br />
<br />
На графике чтений из памяти на наблюдается неравномерная активность чтения из памяти процессами: несколько читают очень активно, остальные используют значительно менее эффективно. Однако активность тех нескольких процессов чтения из памяти достаточно высока, что в сочетании с показаниями достаточно высокого уровня кэш-промахов указывает на достаточно большой процент промахов из кэш в оперативную память.<br />
[[file:Cooley-Tukey MEM STORE.png|thumb|center|700px|Рисунок 14. График количества записей в оперативную память при работе алгоритма Кули-Тьюки]]<br />
<br />
На графике записей в память видна похожая картина неравномерности вычислений, при которой одновременно активно выполняют запись только несколько процессов. Это коррелирует с другими графиками выполнения и указывает на низкую эффективность данной реализации.<br />
[[file:Cooley-Tukey INF DATA.png|thumb|center|700px|Рисунок 15. График скорости передачи по сети Infiniband в байт/сек при работе алгоритма Кули-Тьюки]]<br />
<br />
На графике скорости передачи данных по сети Infiniband наблюдается достаточно низкая скорость передачи данных в байтах в секунду. Это говорит о том, что процессы между собой обмениваются небольшими порциями данных.<br />
[[file:Cooley-Tukey INF PCKTS.png|thumb|center|700px|Рисунок 16. График скорости передачи по сети Infiniband в пакетах/сек при работе алгоритма Кули-Тьюки]]<br />
<br />
На графике скорости передачи данных в пакетах в секунду наблюдается очень высокая интенсивность передачи данных выраженная в пакетах в секунду. Это говорит о том, что, вероятно, процессы обмениваются сообщениями очень низкой длины, но очень интенсивно. Так же наблюдается меньший дизбаланс между процессами чем наблюдаемый в графиках использования памяти и вычислений. Это указывает на то, что при поступлении необходимых данных часть процессов начинает интенсивные вычисления, хотя другие продолжают простаивать. <br />
[[file:Cooley-Tukey LOADAVG.png|thumb|center|700px|Рисунок 17. График числа процессов, ожидающих вхождения в стадию счета (Loadavg), при работе алгоритма Кули-Тьюки]]<br />
На графике числа процессов, ожидающих вхождения в стадию счета (Loadavg), видно, что на протяжении всей работы программы значение этого параметра постоянно и приблизительно равняется 3. Это свидетельствует о стабильной работе программы с загруженной только частью вычислительных узлов. Это указывает на очень нерациональную и статичную загрузку аппаратных ресурсов процессами. И показывает низкую эффективность выполняемой реализации.<br />
В целом, по данным системного мониторинга работы программы можно сделать вывод о том, что программа работала неэффективно, но стабильно. Использование памяти и коммуникационной среды достаточно интенсивное, при этом объемы передаваемых данных являются крайне малыми. Это указывает на необходимость использования оптимизаций алгоритмической части программы. <br />
Низкая эффективность связана судя по всему с недостаточным объемом вычислений на каждом процессе, интенсивными обменами малой длины сообщений. Это приводит к постоянному ожиданию процессами данных для вычислений и простою даже в рамках одного вычислительного узла.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Граф простого алгоритма Кули-Тьюки лучше всего из коммуникационных сетей отображается на сеть типа [[гиперкуб]]. Распространённость БПФ в методах решения различных задач поэтому привела к популярности идеи вычислительных систем с сетью типа гиперкуб в начале развития различных параллельных вычислительных систем. В настоящее время, однако, массово такие вычислительные системы не используются по физическим причинам, делающим гиперкуб большой размерности труднореализуемым на практике. <br />
Как видно из графа, при простом его разбиении на части прямыми, параллельными оси шагов, на первых шагах алгоритма обмены между разными частями будут отсутствовать, но, начиная с некоторого момента, они станут составлять величину, сопоставимую с количеством арифметических операций. Этого, однако, можно избежать, если примерно посередине алгоритма переупорядочить все данные. В графе это будет соответствовать смене разбиения на части. <br />
При выполнении указанных рекомендаций, алгоритм можно будет реализовать более эффективно, чем в настоящее время, и на архитектурах типа кластерной и на других архитектурах, реализующих разбиение процесса на независимые ветви.<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки весьма распространён среди начинающих, использующих БПФ, и его сравнительно легко можно найти в Интернете с помощью поисковых сайтов. Как правило, эти реализации не используют описанных выше приёмов улучшения эффективности вычислений - ни для последовательной, ни для параллельной архитектуры. Связано это с тем, что сам по себе простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки проигрывает другим алгоритмам Кули-Тьюки, которые используют специфику, например, чётных степеней двойки, и потому более экономичны. Поэтому большинство исследователей, которым нужны более быстрые программы БПФ, не улучшают эффективность этого алгоритма, а меняют его на другой. <br />
Это же рекомендуем делать и читателям.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Методы, основанные на дистрибутивности операций]]<br />
<br />
[[En:Cooley–Tukey Fast Fourier Transform, radix-2 case]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25318Классификация алгоритмов2018-02-02T10:21:09Z<p>Frolov: /* Вычислительная геометрия */</p>
<hr />
<div>__TOC__<br />
=Векторные операции=<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=Матрично-векторные операции=<br />
== Умножения неособенных матриц на вектор ==<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
== Умножения матриц специального вида на вектор ==<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
<br />
=Матричные операции=<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
=Разложения матриц=<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
=Решение систем линейных уравнений=<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
=Решение систем нелинейных уравнений=<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
=Решения спектральных задач=<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
=Тесты производительности компьютеров=<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
<br />
=Алгебра многочленов=<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
=Численные методы интегрирования=<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
=Алгоритмы на графах=<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
=Алгоритмы поиска=<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
=Алгоритмы сортировки=<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} <br />
# {{level|Пересечение звёздных многоугольников}}<br />
<br />
=Компьютерная графика=<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Нейронные сети=<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
<br />
=Алгоритмы оптимизации=<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
=Алгоритмы машинного обучения=<br />
# {{level|Алгоритм k средних (k-means)}}<br />
=Алгоритмы теории игр=<br />
=Алгоритмы моделирования квантовых систем=<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
=Алгоритмы решения уравнений математической физики=<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25317Классификация алгоритмов2018-02-02T10:18:34Z<p>Frolov: /* Нейронные сети */</p>
<hr />
<div>__TOC__<br />
=Векторные операции=<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=Матрично-векторные операции=<br />
== Умножения неособенных матриц на вектор ==<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
== Умножения матриц специального вида на вектор ==<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
<br />
=Матричные операции=<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
=Разложения матриц=<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
=Решение систем линейных уравнений=<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
=Решение систем нелинейных уравнений=<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
=Решения спектральных задач=<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
=Тесты производительности компьютеров=<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
<br />
=Алгебра многочленов=<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
=Численные методы интегрирования=<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
=Алгоритмы на графах=<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
=Алгоритмы поиска=<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
=Алгоритмы сортировки=<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
# {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 \cdot n_2)</math><br />
=Компьютерная графика=<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Нейронные сети=<br />
# {{level|Распознавание образов}}<br />
## {{level|Распознавание текста}}<br />
## {{level|Распознавание речи}}<br />
## {{level|Распознавание лиц}}<br />
<br />
=Алгоритмы оптимизации=<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
=Алгоритмы машинного обучения=<br />
# {{level|Алгоритм k средних (k-means)}}<br />
=Алгоритмы теории игр=<br />
=Алгоритмы моделирования квантовых систем=<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
=Алгоритмы решения уравнений математической физики=<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A0%D0%B0%D1%81%D0%BF%D0%BE%D0%B7%D0%BD%D0%B0%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BB%D0%B8%D1%86&diff=25316Распознавание лиц2018-02-02T10:17:41Z<p>Frolov: Frolov переименовал страницу Распознование лиц в Распознавание лиц без оставления перенаправления</p>
<hr />
<div>Автор описания: <br />
[https://algowiki-project.org/ru/Участник:Bagnikita<b>Н.Ю.Багров</b>]<br />
<br />
{{algorithm<br />
| name = Распознавание лиц<br />
| serial_complexity = <math>O(E(w,h,c)+n·d+n·\log n+n·\log k+CNN·{\rm const})</math><br />
| pf_height = <math>O(k)</math><br />
| pf_width = <math>O(n)</math><br />
| input_data = <math>w·h·c</math><br />
| output_data = <math>O(k)</math><br />
}}<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
Распознавание лиц при помощи компьютера было впервые предложено в 1966 г. Woody Bledsoe и др. В первой системе использовался графический планшет, на котором было необходимо вручную отметить ключевые особенности на лице (брови, губы и тд). Система в дальнешейм использовала расстояния между этими точками для сравнения разных изображений. Поскольку требовалось много ручной работы, то оператор мог обработать около 40 изображений в час. В 1997 была создана система, которая непосредственно работала с видеоданными и могла применяться на практике. В дальшейшем с увеличением производительности вычислительных систем появились более качественные алгоритмы, но они заметно уступали человеку на данной задаче. С появлением высокороизводительных видеокарт в 2014 году появились системы<ref>Taigman Y. et al. Deepface: Closing the gap to human-level performance in face verification //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2014. – С. 1701-1708.</ref>, точность которых уже превышала точность оператора (человека). Основное преимущество таких систем в том, что они могут обрабатывать большие объемы данных - производительность человека намного ниже (требуется несколько секунд на сравнение пары изображений). <br />
<br />
Задачу распознавания лиц можно разбить на несколько этапов:<br />
<br />
* обучение нейронной сети<br />
* построение биометрического шаблона<br />
* сравнение биометрических шаблонов<br />
* поиск в базе и формирование результата<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
Алгоритм состоит из построения биометрических шаблонов (дескрипторов) по изображению и поиску заданного шаблона в базе уже вычисленных дескрипторов. <br />
<br />
В дальшейшем будем рассматривать только сверточные нейронные сети. Классические архитектуры нейронных сетей с полносвязными слоями неприменимы на практике для анализа изображений, поскольку количество параметров такой сети экспоненциально возрастает с размером входных данных и количеством слоев. В таких сетях каждый нейрон не связан со всеми нейронами предыдущего слоя, а домножается на некоторый коэффициент (ядро свертки) по всему изображению. Таким образом, каждый такой слой применяет операцию свертки ко входам со своими коэффициентами, что заметно уменьшает число весов в нейронной сети. Это позволяет уменьшить потребление памяти и эффект переобучения сети, который проявляется в том, что сеть хорошо работает на классификации элементов обучающей выборки и хуже на валидационной.<br />
<br />
==== Обучение сверточной нейронной сети ====<br />
<br />
Для обучения нейронной сети используется стохастический градиентный спуск. Начальные веса сети устанавливаются случайными. Заметим, что существенное время занимают сверточные и полносвязные слои. Их можно свести к операции перемножения матриц следуюим образом:<br />
* пусть размерность фильтра свертки <math>k·k</math><br />
* скопируем блоки исходного изображения размером k·k в столбцы новой матрицы<br />
* умножим эту матрицу на коэффициеты фильтра свертки<br />
* полученная матрица будет результатом применения свертки к входному изображению<br />
<br />
Сложность задачи вычисления свертки зависит квадратично от размера фильтра и линейно от количества выходных данных.<br />
<br />
<math>FeatureMap = A^{n, w · h} · B^{w · h, c · k^2}</math>, где <math>FeatureMap</math> - результат применения свертки, а <math>A</math> и <math>B</math> - входное изображение и матрица весов слоя нейронной сети<br />
<br />
Существуют библиотеки, например, NVIDIA cuDNN<ref>https://developer.nvidia.com/cudnn</ref>) которые решают данную задачу более эффективно. Например, свертки размером 3x3, 5x5 могут быть реализованы с использованием FFT (что работает на видеокарте быстрее, чем умножение матриц)<br />
<br />
==== Построение биометрического шаблона ====<br />
<br />
Будем называть биометрическим шаблоном вектор <math>{R}^d</math>, который является представлением лица человека. Этот вектор получается после применения нейронной сети к изображению - в качестве такого вектора используют отклики с одного последних слоев нейронной сети. Для обеспечения возможности сравнивать между собой эти шаблоны вектор нормализуют.<br />
<br />
==== Сравнение биометрических шаблонов ====<br />
<br />
На предыдущем этапе был получен вектор значений <math>D={A}^d</math>, где <math>d</math> - размерность дескриптора. Можно рассматривать достаточно много различных оценивающих функций (метриками их называть некорректно, т.к для них не всегда выполняется неравенство треугольника). Например, в качестве такой функции можно рассматривать cosine distance - косинус угла между векторами-признаками в d-мерном пространстве. Также достаточно часто используют <math>L_2</math> метрику, либо более сложные контрукции, такие как JointBayesian<ref>Chen D. et al. Bayesian face revisited: A joint formulation //European Conference on Computer Vision. – Springer Berlin Heidelberg, 2012. – С. 566-579.</ref>. У всех таких "метрик" есть преимущества и недостатки, например в <math>L_2</math> можно легко проводить кластеризацию, тогда как в JointBayes и cosine metric нет. JointBayes можно дообучить на целевой выборке и повысить точность работы алгоритма.<br />
<br />
==== Поиск в базе и формирование результата ====<br />
<br />
Предположим, что для каждого человека в базе есть несколько фотографий. Тогда после выполнения операции сравнения биометрических шаблона изображения-запроса <math>P</math> и всех изображений в базе <math>G={g1,g2,...,gn}</math> необходимо выбрать результат с максимальным значением оценивающей функции для данного человека. Т.е необходимо оставить в результате только уникальные по людям совпадения, выбрав при этом максимальное значение при удалении дубликатов по людям.<br />
<br />
После выполнения поиска в базе необходимо произвести нормализацию полученных значений оценивающей функции. В системах распознавания лиц обычно используют диапазон [0.0 - 1.0], где 0.0 означает минимальное сходство двух изображений лиц, а 1.0 максимальное.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Основные операции составляют построение биометрического шаблона, и поиск в базе.<br />
<br />
==== Построение биометрического шаблона ====<br />
<br />
Обозначим за <math>E(w,h,c)</math> сложность операции вычисления биометричсекого шаблона по входному изображению лица человека. Поскольку сверточной нейронной сети с полносвязными слоями должно подаваться на вход изображения фиксированного размера, то необходимо изменить разрешение исходного изображения. В данной реализации алгоритма распознавания лиц используется билинейная интерполяция. Нейронная сеть получает на вход одноканальные изображения размером <math>100·100</math>. Поэтому число необходимых операций (по операциям умножения) можно оценить как <math>O(w·h·c) + O(100 · 100 · 6) = O(w·h·c) + {\rm const}</math>. На практике эта константа существенна, поскольку эти операции неоднородны по памяти.<br />
<br />
Непосредственно время работы нейронной сети существенно зависит от предложенной архитектуры (глубины сети, типов слоев и числа выходов каждого слоя).<br />
<br />
В реализации, предлолженной в практической части, используются более 10 сверточных слоев. Количестве операций можно оценить исходя из количества весов связей в нейронной сети - 80M и размера сверток <math>3·3</math>. Оценка числа операций получилась ~2 GFlops на одну операцию применения нейросети (forward pass, 180ms). Она согласуется с реальным временем работы системы и производительностью системы на тесте linpack (130GFlops 4 cores) на ноутбуке.<br />
<br />
==== Поиск в базе ====<br />
<br />
Поиск в базе состоит из следующих частей:<br />
* сравнение между собой двух дескрипторов изображений и вычисление метрики по базе<br />
* агрегация результатов по людям<br />
* сортировка по убыванию метрики сходства двух изображений<br />
<br />
===== Сравнение между собой двух дескрипторов изображений и вычисление метрики по базе =====<br />
<br />
В практической реализации алгоритма используется косинусовая метрика <math>M(x,y)=\frac{(x,y)}{\lVert x \lVert · \lVert y \lVert}</math>. Заметим, что вектора <math>x, y</math> уже нормированы на предыдущем этапе. Поэтому число операций для вычисления метрики составляет <math>d</math> умножений и <math>d - 1</math> сложений, где <math>d</math> - размерность дескриптора. Если размер базы <math>n</math>, то число операций <math>O(n·d+n·(d-1))=O(n·d)</math>.<br />
<br />
===== Агрегация результатов по людям =====<br />
<br />
Для выполнения операции unique (без использования дополнительной памяти) необходимо отсортировать элементы (person_id, match_score) массива по ключу person_id, а при совпадении по score. После этого можно за линейное время удалить дубликаты по person_id, оставив первый элемент (который будет максимальным по match_score). Сложность таких операций <math>O(n·\log n+n)=O(n·\log n)</math>.<br />
<br />
===== Cортировка по убыванию метрики сходства двух изображений =====<br />
<br />
Финальная сортировка по match_score будет выполнена за <math>O(n·\log k)</math>, где <math>k</math> - количество результатов в выдаче. Обычно на практике число <math>k</math> не более 1000, поскольку обработка результата чаще всего производится вручную оператором (человеком).<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
Алгоритм содержит вычисление биометричиского шаблона, который на этой странице не приводится. Используется готовая бибилотека распознавания лиц [http://tevian.ru Tevian FaceSDK]. Предложенная параллельная реализация может работать с любой системой распознавания лиц, для которой выполнены следующие условия:<br />
* известна метрика для сравнения<br />
* можно получить дескрипторы (биометрические шаблоны) в явном виде<br />
<br />
Основная вычислительная сложность алгоритма связана с вычислением скалярных произведений и удалением повторных сопоставнений людей с выбором максимума.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Алгоритм можно представить в виде следующего фрагмента псевдокода (он менее эффективный, чем предложенный выше. Эффективная реализация на c++):<br />
<br />
<source lang='python'><br />
desc = enroll(Image) # Image - изображение лица человека<br />
matches = {}<br />
for gallery_entry in G:<br />
if matches.get(gallery_entry.person_id, None) is None:<br />
matches[gallery_entry.person_id] = 0.0<br />
matches[gallery_entry.person_id] = max(matches[gallery_entry.person_id], match(desc, gallery_entry.descriptor))<br />
matches = sorted(key = lambda x: x[1], matches.items())<br />
return [x[0], applyMapping(x[1]) for x in matches]<br />
</source><br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Если рассматривать всю последовательность действий (построение шаблона, поиск в базе), то сложность алгоритма <math>O(E(w,h,c)+n·d+n·\log n+n·\log k+CNN·{\rm const})</math>, где<br />
*<math>n</math> - число элементов в базе<br />
*<math>d</math> - размерность биометрического шаблона<br />
*<math>E(w,h,c)</math> - сложность обработки изображения размером (width·height·channels) до необходимого размера для нейросети<br />
*<math>n·d</math> - число операций для вычисления метрики между запросом и базой<br />
*<math>n·\log n</math> - сортировка результата для удаления дубликатов<br />
*<math>n·\log k</math> - сортировка результата по значению оценивающей функции<br />
<br />
=== Информационный граф ===<br />
<br />
На первом шаге необходимо построить биометрический шаблон - поскольку внути алгоритма используется нейросеть, то эти вычисления обычно выполняются на видеокартах. В этом разделе подробно не рассматривается работа нейросети, поэтому можно считать, что ему соответствует одна вершина в графе.<br />
<br />
На втором шаге уже есть посчитанный биометрический шаблон (дескриптор) - его необходимо сопоставить в базой (пусть в ней <math>N</math> дескрипторов). Предположим, что доступно <math>Q</math> исполнителей (процессов или потоков). Тогда возможна паралельная обработка <math>Q</math> диапазонов базы размером <math>N/Q</math>. Для каждого такого вычисления длина последовательной части <math>N/Q·d</math>, где <math>d</math> - размерность дескриптора.<br />
<br />
На третьем шаге производится агрегация полученных результатов сопоставнения длины <math>k</math> с один общий список, отсортированный по убыванию меры сходства изображений. Здесь аналогично можно рассматривать параллельную сортировку на <math>Q</math> вычислителях.<br />
<br />
Видно, что у алгоритма большой ресурс по возможности распараллеливания за счет возможности параллельной реализации практически любой его части.<br />
<br />
[[Файл:Facerecognition-graph.png|thumb|center|700px|Рисунок 0. Граф параллельного алгоритма]]<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
<br />
Сложность параллельного алгоритма, в предположении доступности q узлов: <math>O(k·\log k+q·(\log(k·q))^2+\frac{n}{q}·(d+\log(\frac{n}{q}))+\lambda·(k·\log(q)+q·(\log(q·k))^2))</math>, где<br />
* <math>n</math> - размер базы изображений лиц<br />
* <math>d</math> - размерность биометрического шаблона<br />
* <math>k</math> - количество результатов в выдаче (<math>k \ll n</math>)<br />
* <math>\lambda</math> - флаг (0 или 1), нужно ли производить агрегацию результатов по людям<br />
<br />
Данная оценка получена с применением [http://darwin.bth.rwth-aachen.de/opus3/volltexte/2010/3502/pdf/3502.pdf параллельной сортировки].<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
Входные данные:<br />
* изображение <math>P\in{R}^{w·h·c}</math>, где w,h,c - ширина, высота, число каналов<br />
* база изображений лиц <math>G={g_1,g_2,g_3,...,g_n}, g_i\in{T}</math><br />
* T - объект, состоящий из биометрического шаблона и порядкового номера человека<br />
<br />
Выходные данные:<br />
* список <math>L={l_1,l_2,...,l_k}</math>, где <math>l_i\in{T}</math><br />
* <math>T</math> - объект, состоящий из числа (мера сходства двух изображений) и id (порядкового номера) человека в базе<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Основная проблема при реализации параллельной версии данного алгоритма - необходимость сортировки результатов. Исходя из размеров базы важно правильно выбрать количество вычислителей, поскольку в ряде случаев сортировка будет работать очень быстро (число элементов будет значительно меньше объема базы) и не потребуется реализация параллельной сортировки. <br />
<br />
Другая проблема - низкая вычислительная сложность самого алгоритма и большое число обращений к памяти. При реализации важно выделять память большими блоками для успешного чтения из кэша процессора.<br />
<br />
Из преимуществ данного алгоритма можно назвать низкую нагрузку на сеть при обмене данными, возможность работы на множестве систем (MPI, hadoop и тд), посколько объем данных, передаваемых между узлами небольшой. Для практической реализации не требуется использования специальных коммуникаций с низкой задержкой (обмены происходят достаточно редко, время доставки сообщений не критично).<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
Построение биометрических шаблонов выполнено при помощи библиотеки распознавания лиц Tevian FaceSDK<ref>http://tevian.ru/product/facesdk</ref>. В этом разделе приводится эффективность параллельной реализации сравнения изображени лица с некоторой базой лиц. <br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В текущей версии алгоритма применяется векторизация с использованием FMA3 инструкций, что позволяет значительно ускорить работу программы. При выполнении оценки производительности системы использовалась простая реализация cosine метрики (цикл для вычисления скалярного произведения) и с использованием FMA инстукций.<br />
<br />
Псевдокод операции mm256_fmadd (intel)<br />
<br />
<source lang="fortran"><br />
FOR j := 0 to 7<br />
i := j*32<br />
dst[i+31:i] := (a[i+31:i] * b[i+31:i]) + c[i+31:i]<br />
ENDFOR<br />
dst[MAX:256] := 0<br />
</source><br />
<br />
В результате тестирования (процессор 6300HQ, ноутбук, база 30М биометрических шаблонов) однопоточной программы было установлено, что FMA3 версия в 5 раз быстрее по сравнению с обычным циклом (880ms vs 4600ms). Все дальнейшие экспериенты будут проводиться с FMA3 реализацией (если не указано иначе). Компиляция производится gcc 5.4 с флагами <code>-O3 -static-libgcc -static-libstdc++ -mavx -mavx2 -mfma -fopenmp</code><br />
<br />
Ниже приводится пример кода для вычисления дескриптора:<br />
<source lang="c++"><br />
pp = descriptor;<br />
pg = gallery_ptr;<br />
__m256 sum = _mm256_setzero_ps();<br />
for(int j = 0; j < 16; ++j, pp += 8, pg += 8) {<br />
sum = _mm256_fmadd_ps(_mm256_load_ps(pp), _mm256_load_ps(pg), sum);<br />
}<br />
const __m128 x128 = _mm_add_ps(_mm256_extractf128_ps(sum, 1), _mm256_castps256_ps128(sum));<br />
const __m128 x64 = _mm_add_ps(x128, _mm_movehl_ps(x128, x128));<br />
const __m128 x32 = _mm_add_ss(x64, _mm_shuffle_ps(x64, x64, 0x55));<br />
score = _mm_cvtss_f32(x32);<br />
</source><br />
<br />
Для сортировки результатов и агрегации по людям используются функции из stl - вполне возможно, что можно реализовать более эффективно.<br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Данный алгоритм производит вычисления скалярных произведений, поэтому на этом этапе все обращения к памяти обладают свойством локальности. Биометрический шаблон полностью помещается в кэш память любого современного процессора, данные под базу изобрежний выделяются в виде больших непрерывных блоков памяти. <br />
<br />
Сортировка результатов также обладает свойством локальности, поскольку массив хранится непрерывно в памяти. При небольшом размере базы (1-10M изображений) он может полностью поместиться в кэш памяти.<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Алгоритм построен по модели map/reduce. В map происходит вычисление скалярных произведений дескриптора-запроса и элементов базы. В reduce происходит сортировка и удаление повторов.<br />
<br />
Исходная база разбирается на блоки (chunks) по 1M биометрических шаблонов, каждый такой блок обрабатывается независимо в своем потоке (или процессе). Важно то, что в результате работы алгоритма на каждом блоке в результате получается небольшой объем данных: <math>k·({\rm sizeof}({\rm float})+{\rm sizeof}({\rm int32\_t}))</math>. Такие данные можно легко передать по медленному каналу с высокой задержкой (не требуется использование InfiniBand). Также данный алгоритм можно запускать как на MPI кластерах с передачей сообщений, так и на hadoop кластерах.<br />
<br />
Для сортировки результатов можно применять параллельную сортировку (которая ассимптотически) лучше, но на практике это не нужно из-за разумного ограчения на число результатов. Часто их просматривает вручную оператор системы, поэтому больше нескольких тысяч ставить бессмысленно.<br />
<br />
В текущей версии системы реализован параллелизм с использованием OpenMP. Вместо OpenMP можно использовать любой метод многопоточной обработки данных, например, pthread. Сложность модификации кода минимальна, поскольку map/reduce подразумевает отсутствие зависимостей между различными блоками.<br />
<br />
При реализации распределенной системы можно размещать разные chunks на вычислительных узлах и агрегировать результаты. Из-за небольшого размера сообщений такую систему можно легко построить в ЦОД без использования специальных коммуникаций на обычных серверах.<br />
<br />
CUDA можно применять на этапе построения биометрического шаблона, что позволит значительно ускорить построение дескрипторов (например, во время добавления в базу большого числа изображений новых людей).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
В дальнейшем во всех тестах будет использоваться сервер с 2x E5-2683v3 128GB RAM. MOPS - миллионы операций (для map -скалярное произведение, reduce - сортировка) в секунду.<br />
<br />
Каждый тест проводится 20 раз, результаты усредняются.<br />
<br />
[[Файл:Facerecognition-matcher.png|thumb|center|700px|Рисунок 1. Результаты работы map функции в зависимости от размера базы и числа потоков в openmp]]<br />
<br />
Т.к. скорость чтения из DDR4 памяти 17GB/s (на практике немного меньше), то с 4 каналов памяти (по 2 на каждый процессор) нельзя считывать быстрее, чем 68GB/s. База 200M дескрипторов занимает 98GB ram, поэтому время 2300ms для вычисления всех скалярных произведений близко к нижней границе. Дальнейшее увеличение числа потоков на одном сервере не будет приводить к существенному ускорению работы программы.<br />
<br />
Результаты работы reduce функции в завсимости от размера базы и числа потоков в openmp:<br />
[[Файл:Facerecognition_reduce.png|thumb|center|700px|Рисунок 2. Результаты работы reduce функции в зависимости от размера базы и числа потоков в openmp]]<br />
<br />
Reduce этап лучше распараллеливается, поскольку в нем намного меньше число обращений к памяти. Его также можно ускорять, например подбирая оптимальный размер блока (chunk size). Для базы в 200M лиц лучшая скорость 1400ms (достигается на 20 потоках, дальше ускорения нет).<br />
<br />
Значительное ускорение при размере базы в 100M (значение близко к 64GB) возникает предположительно из-за использование памяти второго процессора (суммарно 4 канала памяти, а не 2).<br />
<br />
[[Файл:Facerecognition_overall.png|thumb|center|700px|Рисунок 3. Суммарная скорость работы системы в зависимости от размера базы и числа потоков в openmp]]<br />
<br />
==== Исследование влияния HyperThreading на работу алгоритма ====<br />
<br />
Поскольку могут возникать проблемы из-за низкой пропускной способности памяти, можно предположить, что HyperThreading позволит ускорить работу программы. Во время ожидания данных из памяти может быть задействован второй вычислитель в ядре.<br />
<br />
Синяя точка на графике - лучший результат c HyperThreading, красная - HyperThreading выключен.<br />
<br />
[[Файл:Facerecognition-ht-matcher.png|thumb|center|700px|Рисунок 4. Результаты работы map функции в зависимости от размера базы и числа потоков в openmp (10-56 потоков)]]<br />
<br />
[[Файл:Facerecognition-ht-reduce.png|thumb|center|700px|Рисунок 5. Результаты работы reduce функции в зависимости от размера базы и числа потоков в openmp (10-56 потоков)]]<br />
<br />
[[Файл:Facerecognition-ht-overall.png|thumb|center|700px|Рисунок 6. Суммарная скорость работы системы в зависимости от размера базы и числа потоков в openmp (10-56 потоков)]]<br />
<br />
Видно, что включение HyperThreading повышает производительность системы. Для reduce шага это ускорение значительно.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
Эксперименты проводились на сервере с 2x E5-2683v3 128GB RAM. <br />
<br />
Для семейства процессоров на ядре haswell возможно выполнение 32 операций умножения+сложения за такт.<br />
<br />
Поэтому пиковая производительность <math>R_{\rm peak}=2·14·32·2.0·10^9</math>, где<br />
* 2 - число процессоров<br />
* 14 - количество ядер на каждом из процессоров<br />
* 32 - количество операций за один такт<br />
* <math>2.0·10^9</math> - частота ядра без turbo boost<br />
<br />
FLOPS алгоритма <math>k=100·10^6·128·2</math>, где<br />
* <math>100·10^6</math> - число операций в секунду<br />
* 128·2 - количество действий, необходимых для проведения одного сравнения<br />
<br />
Эффективность для map = <math>k</math> / peak = 0.014 (1.42%)<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Данный алгоритм должен хорошо работать как на суперкомпьютерах со специализированной сетевой частью, так и на кластерах серверов с 1/10G Ethernet за счет низкой частоты обменов. Также при необходимость его можно использовать на мобильных рабочих станциях (ноутбуках) и специализированных серверах (4x xeon E7-8XXX), которые смогут обрабатывать в реальном времени большие объемы данных (например, биометрические для всех людей в стране).<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Системы распознавания лиц редко бывают открытыми (или они низкого качества), поэтому известных распределенных систем распознавания лиц мало. Такие системы часто создаются под отдельный проект и их нельзя купить как "коробочное" решение.<br />
<br />
== Литература ==<br />
<br />
[[Категория:Нейронные сети]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25315Классификация алгоритмов2018-02-02T10:13:56Z<p>Frolov: /* Умножения матриц специального вида на вектор */</p>
<hr />
<div>__TOC__<br />
=Векторные операции=<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=Матрично-векторные операции=<br />
== Умножения неособенных матриц на вектор ==<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
== Умножения матриц специального вида на вектор ==<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
#### {{level|Простой алгоритм Кули-Тьюки быстрого преобразования Фурье для степеней двойки}}<br />
#### {{level|Быстрое преобразование Фурье для чётных степеней двойки}}<br />
### {{level|Быстрое преобразование Фурье для составной размерности с небольшими простыми делителями (2,3,5,7)}}<br />
## {{level|Быстрое преобразование Фурье для простой размерности}}<br />
<br />
=Матричные операции=<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
=Разложения матриц=<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
=Решение систем линейных уравнений=<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
=Решение систем нелинейных уравнений=<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
=Решения спектральных задач=<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
=Тесты производительности компьютеров=<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
<br />
=Алгебра многочленов=<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
=Численные методы интегрирования=<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
=Алгоритмы на графах=<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
=Алгоритмы поиска=<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
=Алгоритмы сортировки=<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
# {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 \cdot n_2)</math><br />
=Компьютерная графика=<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Нейронные сети=<br />
# {{level|Распознование образов}}<br />
## {{level|Распознование текста}}<br />
## {{level|Распознование речи}}<br />
## {{level|Распознование лиц}}<br />
=Алгоритмы оптимизации=<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
=Алгоритмы машинного обучения=<br />
# {{level|Алгоритм k средних (k-means)}}<br />
=Алгоритмы теории игр=<br />
=Алгоритмы моделирования квантовых систем=<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
=Алгоритмы решения уравнений математической физики=<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25314Классификация алгоритмов2018-02-02T10:10:19Z<p>Frolov: </p>
<hr />
<div>__TOC__<br />
=Векторные операции=<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=Матрично-векторные операции=<br />
== Умножения неособенных матриц на вектор ==<br />
# {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
== Умножения матриц специального вида на вектор ==<br />
# {{level|Преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для составной размерности}}<br />
### {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
=Матричные операции=<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
=Разложения матриц=<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
=Решение систем линейных уравнений=<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
=Решение систем нелинейных уравнений=<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
=Решения спектральных задач=<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
=Тесты производительности компьютеров=<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
<br />
=Алгебра многочленов=<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
=Численные методы интегрирования=<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
=Алгоритмы на графах=<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
=Алгоритмы поиска=<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
=Алгоритмы сортировки=<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
# {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 \cdot n_2)</math><br />
=Компьютерная графика=<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Нейронные сети=<br />
# {{level|Распознование образов}}<br />
## {{level|Распознование текста}}<br />
## {{level|Распознование речи}}<br />
## {{level|Распознование лиц}}<br />
=Алгоритмы оптимизации=<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
=Алгоритмы машинного обучения=<br />
# {{level|Алгоритм k средних (k-means)}}<br />
=Алгоритмы теории игр=<br />
=Алгоритмы моделирования квантовых систем=<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
=Алгоритмы решения уравнений математической физики=<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D1%80%D1%82%D0%BE%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8&diff=25306Классический метод ортогонализации2018-01-20T12:33:10Z<p>Frolov: </p>
<hr />
<div>{{algorithm<br />
| name = Классическая ортогонализация Грама-Шмидта<br />
| serial_complexity = <math>O(N^3)</math><br />
| pf_height = <math>O(N^2)</math><br />
| pf_width = <math>O(N)</math><br />
| input_data = <math>N^2</math><br />
| output_data = <math>3N^2/2</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:DVIN|Инжелевская Дарья Валерьевна]] (свойства и структура алгоритмов), [[Участник:Frolov|А.В.Фролов]](общая редактура текста)<br />
<br />
== Свойства и структура алгоритмов ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
Процесс ортогонализации Грама-Шмидта — это один из алгоритмов, в которых на основе множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> строится множество ортогональных <math>{\displaystyle \mathbf {b}_{1},\;\ldots ,\;\mathbf {b} _{N}} </math> или ортонормированных векторов <math>{\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e}_{N}} </math>, причём так, что каждый вектор <math>{\displaystyle \mathbf {b} _{j}} </math> или <math>{\displaystyle \mathbf {e} _{j}}</math> может быть выражен линейной комбинацией векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\; \mathbf {a} _{j}}</math>.<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
Пусть имеются линейно независимые векторы <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math>.<br />
<br />
Если определить оператор проекции следующим образом: <math>\mathbf{proj}_{\mathbf{b}}\,\mathbf{a} = {\langle \mathbf{a}, \mathbf{b} \rangle \over \langle \mathbf{b}, \mathbf{b}\rangle} \mathbf{b} ,</math> <br />
<br />
где <math>\langle \mathbf{a}, \mathbf{b} \rangle</math> — скалярное произведение векторов <math>\mathbf{a}</math> и <math>\mathbf{b}</math>, <br />
<br />
то классический процесс Грама — Шмидта выполняется следующим образом:<br />
<br />
: <math><br />
{\begin{array}{lclr}<br />
{\mathbf {b}}_{1}&=&{\mathbf {a}}_{1}&(1)\\<br />
{\mathbf {b}}_{2}&=&{\mathbf {a}}_{2}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{2}&(2)\\<br />
{\mathbf {b}}_{3}&=&{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{3}&(3)\\<br />
{\mathbf {b}}_{4}&=&{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{3}}}\,{\mathbf {a}}_{4}&(4)\\<br />
&\vdots &&\\{\mathbf {b}}_{N}&=&{\mathbf {a}}_{N}-\displaystyle \sum _{{j=1}}^{{N-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{N}&(N)<br />
\end{array}}<br />
</math><br />
<br />
<br />
На основе каждого вектора <math>\mathbf{b}_j \;(j = 1 \ldots N)</math> может быть получен нормированный вектор: <math>\mathbf{e}_j = {\mathbf{b}_j\over \| \mathbf{b}_j \|_2}</math> (у нормированного вектора направление будет таким же, как у исходного, а длина — единичной).<br />
<br />
Результаты процесса Грама — Шмидта:<br />
<br />
<math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_N</math> — система ортогональных векторов либо<br />
<br />
<math>\mathbf{e}_1,\;\ldots,\;\mathbf{e}_N</math> — система ортонормированных векторов.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро последовательной версии метода ортогонализации Грамма-Шмидта можно составить из множественных (всего их <math>\frac{N(N-1)}{2}</math>) вычислений проекций : <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math><br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
Данный алгоритм использует в качестве составных частей другие, более мелкие. Далее описание будет не в максимально детализированном виде (т.е. на уровне арифметических операций), а только на уровне его макроструктуры. Типичной макрооперацией, часто встречающиеся в алгоритме является оператор проекции векторов. Как записано и в описании ядра алгоритма, основную часть метода ортогонализации Грамма-Шмидта составляют множественные (всего их <math>\frac{N(N-1)}{2}</math>) вычисления оператора проекции.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Следующий алгоритм реализует нормализацию Грамма-Шмидта. Векторы <math>v_1,...,v_k</math> заменяются набором ортонормированных векторов, которые имеют ту же линейную оболочку.<br />
<br />
[[File:Gram-Schmidt ortho.png|none|thumb]]<br />
<br />
Вычислительная сложность этого <math>2Nk^2</math> операции с плавающей точкой, где N - размерность векторов.<br />
<br />
Последовательность исполнения метода следующая:<br />
<br />
1. <math>\mathbf {b}_{1}=\mathbf {a}_{1}</math><br />
<br />
2. Далее для всех векторов <math>\mathbf {b}_{i}</math> для <math>i=2 ... N</math> производится вычисление по следующей формуле:<br />
<math>{\mathbf {b}}_{i}={\mathbf {a}}_{i}-\displaystyle \sum _{{j=1}}^{{i-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math>. <br />
<br />
В ней на каждом шаге <math>i</math> по очереди вычисляются все <math>{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math> для <math>j=1 ... i-1</math><br />
<br />
==== Пример реализации на Python ====<br />
<br />
Функция работает для произвольного количества векторов любой размерности. При этом если количество векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math> больше их размерности или они линейно зависимы то функция возвращает максимально возможное число линейно независимых векторов <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_n</math>, а остальные векторы <math>\mathbf{b}_{n+1},\;\ldots,\;\mathbf{b}_N</math> нулевые.<br />
<source lang="python"><br />
import random<br />
<br />
def GramSchmidt(*a):<br />
k=len(a[0])<br />
N=len(a);<br />
b = [[0] * k for i in range(N)]<br />
b[0]=a[0]<br />
for i in range(1,N):<br />
sum=a[i]<br />
for j in range(0,i):<br />
scolar_ab=0<br />
scolar_bb=0<br />
proj=[i for i in range(k)]<br />
for n in range(k):<br />
scolar_ab+=b[j][n]*a[i][n]<br />
scolar_bb+=b[j][n]*b[j][n]<br />
for n in range(k):<br />
proj[n]=(scolar_ab/scolar_bb)*b[j][n]<br />
for n in range(k):<br />
sum[n]-=proj[n]<br />
b[i]=sum<br />
return b;<br />
<br />
l1=[random.randrange(0,10) for i in range(3)]<br />
l2=[random.randrange(0,10) for i in range(3)]<br />
l3=[random.randrange(0,10) for i in range(3)]<br />
print(l1,l2,l3)<br />
print(GramSchmidt(l1,l2,l3))<br />
</source><br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для построения ортогонального набора векторов в последовательном варианте требуется:<br />
<br />
При k=N:<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3N-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3N^2 (N-1)}{2}</math> умножений.<br />
<br />
При k≠N<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3k-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3Nk (N-1)}{2}</math> умножений.<br />
<br />
При классификации по последовательной сложности, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам с кубической сложностью.<br />
<br />
=== Информационный граф ===<br />
<br />
Опишем граф алгоритма как аналитически, так и в виде рисунка.<br />
<br />
Граф алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двух областей.<br />
<br />
'''Первая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i} = {\langle \mathbf{a_i}, \mathbf{b_j} \rangle \over \langle \mathbf{b_j}, \mathbf{b_j}\rangle} \mathbf{b_j} ,</math> . <br />
<br />
Естественно введённые координаты области таковы:<br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
<math>a_i</math>:<br />
элементы входных данных, а именно <math>a_i</math>;<br />
<br />
<math>b_j</math>: <br />
результат срабатывания операции, соответствующей вершине из второй группы, с координатой j.<br />
<br />
'''Вторая''' группа вершин расположена в двухмерной области, соответствующая ей операция <math>a - b</math>. <br />
<br />
Естественно введённые координаты области таковы: <br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
a:<br />
<br />
j=1 - входные данные <math>a_j</math><br />
<br />
j>1 - результат срабатывания операции, соответствующей вершине из второй группы, с координатой j-1<br />
<br />
b: <br />
<br />
результат срабатывания операции, соответствующей вершине из первой группы, с координатой j<br />
[[Файл:picture00001.jpg|мини|upright=2|centre|frame|Рис. 5. Граф алгоритма с отображением входных и выходных данных. Proj - вычисление оператора проекции, F - операция a-b, In - входные данные, Out - результаты.]]<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
<br />
В параллельном варианте, в отличие от последовательного, можно параллельно производить вычитание соответствующего <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> для всех <math>i=j+1..N</math>. Параллельное же вычисление проекций соответствует другому алгоритму.<br />
<br />
При классификации по высоте (количество ярусов в ЯПФ ) ЯПФ, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам со сложностью <math>O(N^2)</math>. <br />
<br />
При классификации по ширине (максимальное количество вершин в ярусе) ЯПФ его сложность будет <math>O(N)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math>, каждый из которых описывается <math>\mathbf{ a_i= [a^i_1, a^i_2, ..., a^i_k]}</math> .<br />
<br />
Дополнительные ограничения:<br />
* вектора <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> линейно независимы, поэтому <math>k \geqslant N</math>.<br />
<br />
'''Объём входных данных''': <math>Nk</math> <br />
<br />
'''Выходные данные''': множество ортогональных векторов <math>{\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{N}} </math>, каждый из которых описывается <math>\mathbf{ b_i= [b^i_1, b^i_2, ..., b^i_k]}</math> .<br />
<br />
'''Объём выходных данных''': <math>Nk</math> <br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение кубической к квадратичной).<br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, также линейна.<br />
<br />
Алгоритм почти полностью детерминирован — единственность результата выполнения гарантирована, однако возможно накопление ошибок округления при использовании классического процесса Грама-Шмидта. <br />
<br />
Алгоритм является численно неустойчивым — ошибки округления могут привести к неортогональности полученных векторов.<br />
<br />
Процесс Грама — Шмидта может применяться также к бесконечной последовательности линейно независимых векторов.<br />
<br />
Кроме того, процесс Грама — Шмидта может применяться к линейно зависимым векторам. В этом случае он выдаёт <math>\mathbf{0}</math> (нулевой вектор) на шаге <math>j</math>, если <math>\mathbf{a}_j</math> является линейной комбинацией векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_{j-1}</math>. Если это может случиться, то для сохранения ортогональности выходных векторов и для предотвращения деления на ноль при ортонормировании алгоритм должен делать проверку на нулевые векторы и отбрасывать их. Количество векторов, выдаваемых алгоритмом, будет равно размерности подпространства, порождённого векторами (т.е. количеству линейно независимых векторов, которые можно выделить среди исходных векторов).<br />
<br />
Процесс Грама ― Шмидта может быть истолкован как разложение невырожденной квадратной матрицы в произведение ортогональной (или унитарной матрицы в случае эрмитова пространства) и верхнетреугольной матрицы с положительными диагональными элементами ― QR-разложение, что есть частный случай разложения Ивасавы.</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D1%80%D1%82%D0%BE%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8&diff=25305Классический метод ортогонализации2018-01-20T12:29:29Z<p>Frolov: </p>
<hr />
<div>{{algorithm<br />
| name = Классическая ортогонализация Грама-Шмидта<br />
| serial_complexity = <math>O(N^3)</math><br />
| pf_height = <math>O(N^2)</math><br />
| pf_width = <math>O(N)</math><br />
| input_data = <math>N^2</math><br />
| output_data = <math>3N^2/2</math><br />
}}<br />
<br />
== Свойства и структура алгоритмов ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
Процесс ортогонализации Грама-Шмидта — это один из алгоритмов, в которых на основе множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> строится множество ортогональных <math>{\displaystyle \mathbf {b}_{1},\;\ldots ,\;\mathbf {b} _{N}} </math> или ортонормированных векторов <math>{\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e}_{N}} </math>, причём так, что каждый вектор <math>{\displaystyle \mathbf {b} _{j}} </math> или <math>{\displaystyle \mathbf {e} _{j}}</math> может быть выражен линейной комбинацией векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\; \mathbf {a} _{j}}</math>.<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
Пусть имеются линейно независимые векторы <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math>.<br />
<br />
Если определить оператор проекции следующим образом: <math>\mathbf{proj}_{\mathbf{b}}\,\mathbf{a} = {\langle \mathbf{a}, \mathbf{b} \rangle \over \langle \mathbf{b}, \mathbf{b}\rangle} \mathbf{b} ,</math> <br />
<br />
где <math>\langle \mathbf{a}, \mathbf{b} \rangle</math> — скалярное произведение векторов <math>\mathbf{a}</math> и <math>\mathbf{b}</math>, <br />
<br />
то классический процесс Грама — Шмидта выполняется следующим образом:<br />
<br />
: <math><br />
{\begin{array}{lclr}<br />
{\mathbf {b}}_{1}&=&{\mathbf {a}}_{1}&(1)\\<br />
{\mathbf {b}}_{2}&=&{\mathbf {a}}_{2}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{2}&(2)\\<br />
{\mathbf {b}}_{3}&=&{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{3}&(3)\\<br />
{\mathbf {b}}_{4}&=&{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{3}}}\,{\mathbf {a}}_{4}&(4)\\<br />
&\vdots &&\\{\mathbf {b}}_{N}&=&{\mathbf {a}}_{N}-\displaystyle \sum _{{j=1}}^{{N-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{N}&(N)<br />
\end{array}}<br />
</math><br />
<br />
<br />
На основе каждого вектора <math>\mathbf{b}_j \;(j = 1 \ldots N)</math> может быть получен нормированный вектор: <math>\mathbf{e}_j = {\mathbf{b}_j\over \| \mathbf{b}_j \|_2}</math> (у нормированного вектора направление будет таким же, как у исходного, а длина — единичной).<br />
<br />
Результаты процесса Грама — Шмидта:<br />
<br />
<math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_N</math> — система ортогональных векторов либо<br />
<br />
<math>\mathbf{e}_1,\;\ldots,\;\mathbf{e}_N</math> — система ортонормированных векторов.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро последовательной версии метода ортогонализации Грамма-Шмидта можно составить из множественных (всего их <math>\frac{N(N-1)}{2}</math>) вычислений проекций : <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math><br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
Данный алгоритм использует в качестве составных частей другие, более мелкие. Далее описание будет не в максимально детализированном виде (т.е. на уровне арифметических операций), а только на уровне его макроструктуры. Типичной макрооперацией, часто встречающиеся в алгоритме является оператор проекции векторов. Как записано и в описании ядра алгоритма, основную часть метода ортогонализации Грамма-Шмидта составляют множественные (всего их <math>\frac{N(N-1)}{2}</math>) вычисления оператора проекции.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Следующий алгоритм реализует нормализацию Грамма-Шмидта. Векторы <math>v_1,...,v_k</math> заменяются набором ортонормированных векторов, которые имеют ту же линейную оболочку.<br />
<br />
[[File:Gram-Schmidt ortho.png|none|thumb]]<br />
<br />
Вычислительная сложность этого <math>2Nk^2</math> операции с плавающей точкой, где N - размерность векторов.<br />
<br />
Последовательность исполнения метода следующая:<br />
<br />
1. <math>\mathbf {b}_{1}=\mathbf {a}_{1}</math><br />
<br />
2. Далее для всех векторов <math>\mathbf {b}_{i}</math> для <math>i=2 ... N</math> производится вычисление по следующей формуле:<br />
<math>{\mathbf {b}}_{i}={\mathbf {a}}_{i}-\displaystyle \sum _{{j=1}}^{{i-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math>. <br />
<br />
В ней на каждом шаге <math>i</math> по очереди вычисляются все <math>{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math> для <math>j=1 ... i-1</math><br />
<br />
==== Пример реализации на Python ====<br />
<br />
Функция работает для произвольного количества векторов любой размерности. При этом если количество векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math> больше их размерности или они линейно зависимы то функция возвращает максимально возможное число линейно независимых векторов <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_n</math>, а остальные векторы <math>\mathbf{b}_{n+1},\;\ldots,\;\mathbf{b}_N</math> нулевые.<br />
<source lang="python"><br />
import random<br />
<br />
def GramSchmidt(*a):<br />
k=len(a[0])<br />
N=len(a);<br />
b = [[0] * k for i in range(N)]<br />
b[0]=a[0]<br />
for i in range(1,N):<br />
sum=a[i]<br />
for j in range(0,i):<br />
scolar_ab=0<br />
scolar_bb=0<br />
proj=[i for i in range(k)]<br />
for n in range(k):<br />
scolar_ab+=b[j][n]*a[i][n]<br />
scolar_bb+=b[j][n]*b[j][n]<br />
for n in range(k):<br />
proj[n]=(scolar_ab/scolar_bb)*b[j][n]<br />
for n in range(k):<br />
sum[n]-=proj[n]<br />
b[i]=sum<br />
return b;<br />
<br />
l1=[random.randrange(0,10) for i in range(3)]<br />
l2=[random.randrange(0,10) for i in range(3)]<br />
l3=[random.randrange(0,10) for i in range(3)]<br />
print(l1,l2,l3)<br />
print(GramSchmidt(l1,l2,l3))<br />
</source><br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для построения ортогонального набора векторов в последовательном варианте требуется:<br />
<br />
При k=N:<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3N-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3N^2 (N-1)}{2}</math> умножений.<br />
<br />
При k≠N<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3k-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3Nk (N-1)}{2}</math> умножений.<br />
<br />
При классификации по последовательной сложности, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам с кубической сложностью.<br />
<br />
=== Информационный граф ===<br />
<br />
Опишем граф алгоритма как аналитически, так и в виде рисунка.<br />
<br />
Граф алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двух областей.<br />
<br />
'''Первая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i} = {\langle \mathbf{a_i}, \mathbf{b_j} \rangle \over \langle \mathbf{b_j}, \mathbf{b_j}\rangle} \mathbf{b_j} ,</math> . <br />
<br />
Естественно введённые координаты области таковы:<br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
<math>a_i</math>:<br />
элементы входных данных, а именно <math>a_i</math>;<br />
<br />
<math>b_j</math>: <br />
результат срабатывания операции, соответствующей вершине из второй группы, с координатой j.<br />
<br />
'''Вторая''' группа вершин расположена в двухмерной области, соответствующая ей операция <math>a - b</math>. <br />
<br />
Естественно введённые координаты области таковы: <br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
a:<br />
<br />
j=1 - входные данные <math>a_j</math><br />
<br />
j>1 - результат срабатывания операции, соответствующей вершине из второй группы, с координатой j-1<br />
<br />
b: <br />
<br />
результат срабатывания операции, соответствующей вершине из первой группы, с координатой j<br />
[[Файл:picture00001.jpg|мини|upright=2|centre|frame|Рис. 5. Граф алгоритма с отображением входных и выходных данных. Proj - вычисление оператора проекции, F - операция a-b, In - входные данные, Out - результаты.]]<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
<br />
В параллельном варианте, в отличие от последовательного, можно параллельно производить вычитание соответствующего <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> для всех <math>i=j+1..N</math>. Параллельное же вычисление проекций соответствует другому алгоритму.<br />
<br />
При классификации по высоте (количество ярусов в ЯПФ ) ЯПФ, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам со сложностью <math>O(N^2)</math>. <br />
<br />
При классификации по ширине (максимальное количество вершин в ярусе) ЯПФ его сложность будет <math>O(N)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math>, каждый из которых описывается <math>\mathbf{ a_i= [a^i_1, a^i_2, ..., a^i_k]}</math> .<br />
<br />
Дополнительные ограничения:<br />
* вектора <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> линейно независимы, поэтому <math>k \geqslant N</math>.<br />
<br />
'''Объём входных данных''': <math>Nk</math> <br />
<br />
'''Выходные данные''': множество ортогональных векторов <math>{\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{N}} </math>, каждый из которых описывается <math>\mathbf{ b_i= [b^i_1, b^i_2, ..., b^i_k]}</math> .<br />
<br />
'''Объём выходных данных''': <math>Nk</math> <br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение кубической к квадратичной).<br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, также линейна.<br />
<br />
Алгоритм почти полностью детерминирован — единственность результата выполнения гарантирована, однако возможно накопление ошибок округления при использовании классического процесса Грама-Шмидта. <br />
<br />
Алгоритм является численно неустойчивым — ошибки округления могут привести к неортогональности полученных векторов.<br />
<br />
Процесс Грама — Шмидта может применяться также к бесконечной последовательности линейно независимых векторов.<br />
<br />
Кроме того, процесс Грама — Шмидта может применяться к линейно зависимым векторам. В этом случае он выдаёт <math>\mathbf{0}</math> (нулевой вектор) на шаге <math>j</math>, если <math>\mathbf{a}_j</math> является линейной комбинацией векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_{j-1}</math>. Если это может случиться, то для сохранения ортогональности выходных векторов и для предотвращения деления на ноль при ортонормировании алгоритм должен делать проверку на нулевые векторы и отбрасывать их. Количество векторов, выдаваемых алгоритмом, будет равно размерности подпространства, порождённого векторами (т.е. количеству линейно независимых векторов, которые можно выделить среди исходных векторов).<br />
<br />
Процесс Грама ― Шмидта может быть истолкован как разложение невырожденной квадратной матрицы в произведение ортогональной (или унитарной матрицы в случае эрмитова пространства) и верхнетреугольной матрицы с положительными диагональными элементами ― QR-разложение, что есть частный случай разложения Ивасавы.</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D1%80%D1%82%D0%BE%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8&diff=25304Классический метод ортогонализации2018-01-20T12:23:42Z<p>Frolov: /* Математическое описание алгоритма */</p>
<hr />
<div>{{algorithm<br />
| name = Классическая ортогонализация Грама-Шмидта<br />
| serial_complexity = <math>O(N^3)</math><br />
| pf_height = <math>O(N)</math><br />
| pf_width = <math>O(N^2)</math><br />
| input_data = <math>N^2</math><br />
| output_data = <math>3N^2/2</math><br />
}}<br />
<br />
== Свойства и структура алгоритмов ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
Процесс ортогонализации Грама-Шмидта — это один из алгоритмов, в которых на основе множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> строится множество ортогональных <math>{\displaystyle \mathbf {b}_{1},\;\ldots ,\;\mathbf {b} _{N}} </math> или ортонормированных векторов <math>{\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e}_{N}} </math>, причём так, что каждый вектор <math>{\displaystyle \mathbf {b} _{j}} </math> или <math>{\displaystyle \mathbf {e} _{j}}</math> может быть выражен линейной комбинацией векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\; \mathbf {a} _{j}}</math>.<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
Пусть имеются линейно независимые векторы <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math>.<br />
<br />
Если определить оператор проекции следующим образом: <math>\mathbf{proj}_{\mathbf{b}}\,\mathbf{a} = {\langle \mathbf{a}, \mathbf{b} \rangle \over \langle \mathbf{b}, \mathbf{b}\rangle} \mathbf{b} ,</math> <br />
<br />
где <math>\langle \mathbf{a}, \mathbf{b} \rangle</math> — скалярное произведение векторов <math>\mathbf{a}</math> и <math>\mathbf{b}</math>, <br />
<br />
то классический процесс Грама — Шмидта выполняется следующим образом:<br />
<br />
: <math><br />
{\begin{array}{lclr}<br />
{\mathbf {b}}_{1}&=&{\mathbf {a}}_{1}&(1)\\<br />
{\mathbf {b}}_{2}&=&{\mathbf {a}}_{2}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{2}&(2)\\<br />
{\mathbf {b}}_{3}&=&{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{3}&(3)\\<br />
{\mathbf {b}}_{4}&=&{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{3}}}\,{\mathbf {a}}_{4}&(4)\\<br />
&\vdots &&\\{\mathbf {b}}_{N}&=&{\mathbf {a}}_{N}-\displaystyle \sum _{{j=1}}^{{N-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{N}&(N)<br />
\end{array}}<br />
</math><br />
<br />
<br />
На основе каждого вектора <math>\mathbf{b}_j \;(j = 1 \ldots N)</math> может быть получен нормированный вектор: <math>\mathbf{e}_j = {\mathbf{b}_j\over \| \mathbf{b}_j \|_2}</math> (у нормированного вектора направление будет таким же, как у исходного, а длина — единичной).<br />
<br />
Результаты процесса Грама — Шмидта:<br />
<br />
<math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_N</math> — система ортогональных векторов либо<br />
<br />
<math>\mathbf{e}_1,\;\ldots,\;\mathbf{e}_N</math> — система ортонормированных векторов.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро последовательной версии метода ортогонализации Грамма-Шмидта можно составить из множественных (всего их <math>\frac{N(N-1)}{2}</math>) вычислений проекций : <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math><br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
Данный алгоритм использует в качестве составных частей другие, более мелкие. Далее описание будет не в максимально детализированном виде (т.е. на уровне арифметических операций), а только на уровне его макроструктуры. Типичной макрооперацией, часто встречающиеся в алгоритме является оператор проекции векторов. Как записано и в описании ядра алгоритма, основную часть метода ортогонализации Грамма-Шмидта составляют множественные (всего их <math>\frac{N(N-1)}{2}</math>) вычисления оператора проекции.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Следующий алгоритм реализует нормализацию Грамма-Шмидта. Векторы <math>v_1,...,v_k</math> заменяются набором ортонормированных векторов, которые имеют ту же линейную оболочку.<br />
<br />
[[File:Gram-Schmidt ortho.png|none|thumb]]<br />
<br />
Вычислительная сложность этого <math>2Nk^2</math> операции с плавающей точкой, где N - размерность векторов.<br />
<br />
Последовательность исполнения метода следующая:<br />
<br />
1. <math>\mathbf {b}_{1}=\mathbf {a}_{1}</math><br />
<br />
2. Далее для всех векторов <math>\mathbf {b}_{i}</math> для <math>i=2 ... N</math> производится вычисление по следующей формуле:<br />
<math>{\mathbf {b}}_{i}={\mathbf {a}}_{i}-\displaystyle \sum _{{j=1}}^{{i-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math>. <br />
<br />
В ней на каждом шаге <math>i</math> по очереди вычисляются все <math>{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math> для <math>j=1 ... i-1</math><br />
<br />
==== Пример реализации на Python ====<br />
<br />
Функция работает для произвольного количества векторов любой размерности. При этом если количество векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math> больше их размерности или они линейно зависимы то функция возвращает максимально возможное число линейно независимых векторов <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_n</math>, а остальные векторы <math>\mathbf{b}_{n+1},\;\ldots,\;\mathbf{b}_N</math> нулевые.<br />
<source lang="python"><br />
import random<br />
<br />
def GramSchmidt(*a):<br />
k=len(a[0])<br />
N=len(a);<br />
b = [[0] * k for i in range(N)]<br />
b[0]=a[0]<br />
for i in range(1,N):<br />
sum=a[i]<br />
for j in range(0,i):<br />
scolar_ab=0<br />
scolar_bb=0<br />
proj=[i for i in range(k)]<br />
for n in range(k):<br />
scolar_ab+=b[j][n]*a[i][n]<br />
scolar_bb+=b[j][n]*b[j][n]<br />
for n in range(k):<br />
proj[n]=(scolar_ab/scolar_bb)*b[j][n]<br />
for n in range(k):<br />
sum[n]-=proj[n]<br />
b[i]=sum<br />
return b;<br />
<br />
l1=[random.randrange(0,10) for i in range(3)]<br />
l2=[random.randrange(0,10) for i in range(3)]<br />
l3=[random.randrange(0,10) for i in range(3)]<br />
print(l1,l2,l3)<br />
print(GramSchmidt(l1,l2,l3))<br />
</source><br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для построения ортогонального набора векторов в последовательном варианте требуется:<br />
<br />
При k=N:<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3N-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3N^2 (N-1)}{2}</math> умножений.<br />
<br />
При k≠N<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3k-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3Nk (N-1)}{2}</math> умножений.<br />
<br />
При классификации по последовательной сложности, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам с кубической сложностью.<br />
<br />
=== Информационный граф ===<br />
<br />
Опишем граф алгоритма как аналитически, так и в виде рисунка.<br />
<br />
Граф алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двух областей.<br />
<br />
'''Первая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i} = {\langle \mathbf{a_i}, \mathbf{b_j} \rangle \over \langle \mathbf{b_j}, \mathbf{b_j}\rangle} \mathbf{b_j} ,</math> . <br />
<br />
Естественно введённые координаты области таковы:<br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
<math>a_i</math>:<br />
элементы входных данных, а именно <math>a_i</math>;<br />
<br />
<math>b_j</math>: <br />
результат срабатывания операции, соответствующей вершине из второй группы, с координатой j.<br />
<br />
'''Вторая''' группа вершин расположена в двухмерной области, соответствующая ей операция <math>a - b</math>. <br />
<br />
Естественно введённые координаты области таковы: <br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
a:<br />
<br />
j=1 - входные данные <math>a_j</math><br />
<br />
j>1 - результат срабатывания операции, соответствующей вершине из второй группы, с координатой j-1<br />
<br />
b: <br />
<br />
результат срабатывания операции, соответствующей вершине из первой группы, с координатой j<br />
[[Файл:picture00001.jpg|мини|upright=2|centre|frame|Рис. 5. Граф алгоритма с отображением входных и выходных данных. Proj - вычисление оператора проекции, F - операция a-b, In - входные данные, Out - результаты.]]<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
<br />
В параллельном варианте, в отличие от последовательного, вычисления <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> можно выполнять параллельно. То есть после каждого вычисления <math>b_j</math> можно запускать параллельное вычисление <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> для всех <math>i=j+1..N</math>. Кроме того можно параллельно производить вычитание соответствующего <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> для всех <math>i=j+1..N</math>.<br />
<br />
Для ортогонализации в параллельном варианте требуется последовательно выполнить следующие ярусы:<br />
* <math>N</math> ярусов в каждом из которых будет выполнятся,<br />
* по <math>N - 1</math> операторов проекций (в каждом из ярусов линейное количество проекций, в зависимости от яруса — от <math>N-1</math> до <math>1</math>),<br />
* по <math>N - 1</math> сложений (в каждом из ярусов линейное количество сложений, в зависимости от яруса — от <math>N-1</math> до <math>1</math>),<br />
<br />
При классификации по высоте (количество ярусов в ЯПФ ) ЯПФ, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам со сложностью <math>O(N)</math>. <br />
<br />
При классификации по ширине (максимальное количество вершин в ярусе) ЯПФ его сложность будет <math>O(N^2)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math>, каждый из которых описывается <math>\mathbf{ a_i= [a^i_1, a^i_2, ..., a^i_k]}</math> .<br />
<br />
Дополнительные ограничения:<br />
* вектора <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> линейно независимы, поэтому <math>k \geqslant N</math>.<br />
<br />
'''Объём входных данных''': <math>Nk</math> <br />
<br />
'''Выходные данные''': множество ортогональных векторов <math>{\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{N}} </math>, каждый из которых описывается <math>\mathbf{ b_i= [b^i_1, b^i_2, ..., b^i_k]}</math> .<br />
<br />
'''Объём выходных данных''': <math>Nk</math> <br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение кубической к квадратичной).<br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, также линейна.<br />
<br />
Алгоритм почти полностью детерминирован — единственность результата выполнения гарантирована, однако возможно накопление ошибок округления при использовании классического процесса Грама-Шмидта. <br />
<br />
Алгоритм является численно неустойчивым — ошибки округления могут привести к неортогональности полученных векторов.<br />
<br />
Процесс Грама — Шмидта может применяться также к бесконечной последовательности линейно независимых векторов.<br />
<br />
Кроме того, процесс Грама — Шмидта может применяться к линейно зависимым векторам. В этом случае он выдаёт <math>\mathbf{0}</math> (нулевой вектор) на шаге <math>j</math>, если <math>\mathbf{a}_j</math> является линейной комбинацией векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_{j-1}</math>. Если это может случиться, то для сохранения ортогональности выходных векторов и для предотвращения деления на ноль при ортонормировании алгоритм должен делать проверку на нулевые векторы и отбрасывать их. Количество векторов, выдаваемых алгоритмом, будет равно размерности подпространства, порождённого векторами (т.е. количеству линейно независимых векторов, которые можно выделить среди исходных векторов).<br />
<br />
Процесс Грама ― Шмидта может быть истолкован как разложение невырожденной квадратной матрицы в произведение ортогональной (или унитарной матрицы в случае эрмитова пространства) и верхнетреугольной матрицы с положительными диагональными элементами ― QR-разложение, что есть частный случай разложения Ивасавы.</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D1%80%D1%82%D0%BE%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8&diff=25303Классический метод ортогонализации2018-01-20T12:23:05Z<p>Frolov: /* Свойства и структура алгоритмов */</p>
<hr />
<div>{{algorithm<br />
| name = Классическая ортогонализация Грама-Шмидта<br />
| serial_complexity = <math>O(N^3)</math><br />
| pf_height = <math>O(N)</math><br />
| pf_width = <math>O(N^2)</math><br />
| input_data = <math>N^2</math><br />
| output_data = <math>3N^2/2</math><br />
}}<br />
<br />
== Свойства и структура алгоритмов ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
Процесс ортогонализации Грама-Шмидта — это один из алгоритмов, в которых на основе множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> строится множество ортогональных <math>{\displaystyle \mathbf {b}_{1},\;\ldots ,\;\mathbf {b} _{N}} </math> или ортонормированных векторов <math>{\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e}_{N}} </math>, причём так, что каждый вектор <math>{\displaystyle \mathbf {b} _{j}} </math> или <math>{\displaystyle \mathbf {e} _{j}}</math> может быть выражен линейной комбинацией векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\; \mathbf {a} _{j}}</math>.<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
Пусть имеются линейно независимые векторы <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math>.<br />
<br />
Если определить оператор проекции следующим образом: <math>\mathbf{proj}_{\mathbf{b}}\,\mathbf{a} = {\langle \mathbf{a}, \mathbf{b} \rangle \over \langle \mathbf{b}, \mathbf{b}\rangle} \mathbf{b} ,</math> <br />
<br />
где <math>\langle \mathbf{a}, \mathbf{b} \rangle</math> — скалярное произведение векторов <math>\mathbf{a}</math> и <math>\mathbf{b}</math>, <br />
<br />
то классический процесс Грама — Шмидта выполняется следующим образом:<br />
<br />
: <math><br />
{\begin{array}{lclr}<br />
{\mathbf {b}}_{1}&=&{\mathbf {a}}_{1}&(1)\\<br />
{\mathbf {b}}_{2}&=&{\mathbf {a}}_{2}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{2}&(2)\\<br />
{\mathbf {b}}_{3}&=&{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{3}&(3)\\<br />
{\mathbf {b}}_{4}&=&{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{3}}}\,{\mathbf {a}}_{4}&(4)\\<br />
&\vdots &&\\{\mathbf {b}}_{N}&=&{\mathbf {a}}_{N}-\displaystyle \sum _{{j=1}}^{{N-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{N}&(N)<br />
\end{array}}<br />
</math><br />
<br />
<br />
На основе каждого вектора <math>\mathbf{b}_j \;(j = 1 \ldots N)</math> может быть получен нормированный вектор: <math>\mathbf{e}_j = {\mathbf{b}_j\over \|\| \mathbf{b}_j \|\|_2}</math> (у нормированного вектора направление будет таким же, как у исходного, а длина — единичной).<br />
<br />
Результаты процесса Грама — Шмидта:<br />
<br />
<math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_N</math> — система ортогональных векторов либо<br />
<br />
<math>\mathbf{e}_1,\;\ldots,\;\mathbf{e}_N</math> — система ортонормированных векторов.<br />
<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро последовательной версии метода ортогонализации Грамма-Шмидта можно составить из множественных (всего их <math>\frac{N(N-1)}{2}</math>) вычислений проекций : <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math><br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
Данный алгоритм использует в качестве составных частей другие, более мелкие. Далее описание будет не в максимально детализированном виде (т.е. на уровне арифметических операций), а только на уровне его макроструктуры. Типичной макрооперацией, часто встречающиеся в алгоритме является оператор проекции векторов. Как записано и в описании ядра алгоритма, основную часть метода ортогонализации Грамма-Шмидта составляют множественные (всего их <math>\frac{N(N-1)}{2}</math>) вычисления оператора проекции.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Следующий алгоритм реализует нормализацию Грамма-Шмидта. Векторы <math>v_1,...,v_k</math> заменяются набором ортонормированных векторов, которые имеют ту же линейную оболочку.<br />
<br />
[[File:Gram-Schmidt ortho.png|none|thumb]]<br />
<br />
Вычислительная сложность этого <math>2Nk^2</math> операции с плавающей точкой, где N - размерность векторов.<br />
<br />
Последовательность исполнения метода следующая:<br />
<br />
1. <math>\mathbf {b}_{1}=\mathbf {a}_{1}</math><br />
<br />
2. Далее для всех векторов <math>\mathbf {b}_{i}</math> для <math>i=2 ... N</math> производится вычисление по следующей формуле:<br />
<math>{\mathbf {b}}_{i}={\mathbf {a}}_{i}-\displaystyle \sum _{{j=1}}^{{i-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math>. <br />
<br />
В ней на каждом шаге <math>i</math> по очереди вычисляются все <math>{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math> для <math>j=1 ... i-1</math><br />
<br />
==== Пример реализации на Python ====<br />
<br />
Функция работает для произвольного количества векторов любой размерности. При этом если количество векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math> больше их размерности или они линейно зависимы то функция возвращает максимально возможное число линейно независимых векторов <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_n</math>, а остальные векторы <math>\mathbf{b}_{n+1},\;\ldots,\;\mathbf{b}_N</math> нулевые.<br />
<source lang="python"><br />
import random<br />
<br />
def GramSchmidt(*a):<br />
k=len(a[0])<br />
N=len(a);<br />
b = [[0] * k for i in range(N)]<br />
b[0]=a[0]<br />
for i in range(1,N):<br />
sum=a[i]<br />
for j in range(0,i):<br />
scolar_ab=0<br />
scolar_bb=0<br />
proj=[i for i in range(k)]<br />
for n in range(k):<br />
scolar_ab+=b[j][n]*a[i][n]<br />
scolar_bb+=b[j][n]*b[j][n]<br />
for n in range(k):<br />
proj[n]=(scolar_ab/scolar_bb)*b[j][n]<br />
for n in range(k):<br />
sum[n]-=proj[n]<br />
b[i]=sum<br />
return b;<br />
<br />
l1=[random.randrange(0,10) for i in range(3)]<br />
l2=[random.randrange(0,10) for i in range(3)]<br />
l3=[random.randrange(0,10) for i in range(3)]<br />
print(l1,l2,l3)<br />
print(GramSchmidt(l1,l2,l3))<br />
</source><br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для построения ортогонального набора векторов в последовательном варианте требуется:<br />
<br />
При k=N:<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3N-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3N^2 (N-1)}{2}</math> умножений.<br />
<br />
При k≠N<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3k-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3Nk (N-1)}{2}</math> умножений.<br />
<br />
При классификации по последовательной сложности, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам с кубической сложностью.<br />
<br />
=== Информационный граф ===<br />
<br />
Опишем граф алгоритма как аналитически, так и в виде рисунка.<br />
<br />
Граф алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двух областей.<br />
<br />
'''Первая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i} = {\langle \mathbf{a_i}, \mathbf{b_j} \rangle \over \langle \mathbf{b_j}, \mathbf{b_j}\rangle} \mathbf{b_j} ,</math> . <br />
<br />
Естественно введённые координаты области таковы:<br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
<math>a_i</math>:<br />
элементы входных данных, а именно <math>a_i</math>;<br />
<br />
<math>b_j</math>: <br />
результат срабатывания операции, соответствующей вершине из второй группы, с координатой j.<br />
<br />
'''Вторая''' группа вершин расположена в двухмерной области, соответствующая ей операция <math>a - b</math>. <br />
<br />
Естественно введённые координаты области таковы: <br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
a:<br />
<br />
j=1 - входные данные <math>a_j</math><br />
<br />
j>1 - результат срабатывания операции, соответствующей вершине из второй группы, с координатой j-1<br />
<br />
b: <br />
<br />
результат срабатывания операции, соответствующей вершине из первой группы, с координатой j<br />
[[Файл:picture00001.jpg|мини|upright=2|centre|frame|Рис. 5. Граф алгоритма с отображением входных и выходных данных. Proj - вычисление оператора проекции, F - операция a-b, In - входные данные, Out - результаты.]]<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
<br />
В параллельном варианте, в отличие от последовательного, вычисления <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> можно выполнять параллельно. То есть после каждого вычисления <math>b_j</math> можно запускать параллельное вычисление <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> для всех <math>i=j+1..N</math>. Кроме того можно параллельно производить вычитание соответствующего <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> для всех <math>i=j+1..N</math>.<br />
<br />
Для ортогонализации в параллельном варианте требуется последовательно выполнить следующие ярусы:<br />
* <math>N</math> ярусов в каждом из которых будет выполнятся,<br />
* по <math>N - 1</math> операторов проекций (в каждом из ярусов линейное количество проекций, в зависимости от яруса — от <math>N-1</math> до <math>1</math>),<br />
* по <math>N - 1</math> сложений (в каждом из ярусов линейное количество сложений, в зависимости от яруса — от <math>N-1</math> до <math>1</math>),<br />
<br />
При классификации по высоте (количество ярусов в ЯПФ ) ЯПФ, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам со сложностью <math>O(N)</math>. <br />
<br />
При классификации по ширине (максимальное количество вершин в ярусе) ЯПФ его сложность будет <math>O(N^2)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math>, каждый из которых описывается <math>\mathbf{ a_i= [a^i_1, a^i_2, ..., a^i_k]}</math> .<br />
<br />
Дополнительные ограничения:<br />
* вектора <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> линейно независимы, поэтому <math>k \geqslant N</math>.<br />
<br />
'''Объём входных данных''': <math>Nk</math> <br />
<br />
'''Выходные данные''': множество ортогональных векторов <math>{\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{N}} </math>, каждый из которых описывается <math>\mathbf{ b_i= [b^i_1, b^i_2, ..., b^i_k]}</math> .<br />
<br />
'''Объём выходных данных''': <math>Nk</math> <br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение кубической к квадратичной).<br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, также линейна.<br />
<br />
Алгоритм почти полностью детерминирован — единственность результата выполнения гарантирована, однако возможно накопление ошибок округления при использовании классического процесса Грама-Шмидта. <br />
<br />
Алгоритм является численно неустойчивым — ошибки округления могут привести к неортогональности полученных векторов.<br />
<br />
Процесс Грама — Шмидта может применяться также к бесконечной последовательности линейно независимых векторов.<br />
<br />
Кроме того, процесс Грама — Шмидта может применяться к линейно зависимым векторам. В этом случае он выдаёт <math>\mathbf{0}</math> (нулевой вектор) на шаге <math>j</math>, если <math>\mathbf{a}_j</math> является линейной комбинацией векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_{j-1}</math>. Если это может случиться, то для сохранения ортогональности выходных векторов и для предотвращения деления на ноль при ортонормировании алгоритм должен делать проверку на нулевые векторы и отбрасывать их. Количество векторов, выдаваемых алгоритмом, будет равно размерности подпространства, порождённого векторами (т.е. количеству линейно независимых векторов, которые можно выделить среди исходных векторов).<br />
<br />
Процесс Грама ― Шмидта может быть истолкован как разложение невырожденной квадратной матрицы в произведение ортогональной (или унитарной матрицы в случае эрмитова пространства) и верхнетреугольной матрицы с положительными диагональными элементами ― QR-разложение, что есть частный случай разложения Ивасавы.</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D1%80%D1%82%D0%BE%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8&diff=25302Классический метод ортогонализации2018-01-20T12:06:11Z<p>Frolov: </p>
<hr />
<div>{{algorithm<br />
| name = Классическая ортогонализация Грама-Шмидта<br />
| serial_complexity = <math>O(N^3)</math><br />
| pf_height = <math>O(N)</math><br />
| pf_width = <math>O(N^2)</math><br />
| input_data = <math>N^2</math><br />
| output_data = <math>3N^2/2</math><br />
}}<br />
<br />
== Свойства и структура алгоритмов ==<br />
=== Общее описание алгоритма ===<br />
Создатели алгоритма Эрхард Шмидт и Йорген Педерсен Грам.<br />
<br />
'''Эрхард Шмидт''' (14 января 1876 — 6 декабря 1959) — немецкий математик, с 1917 года профессор Берлинского университета. В 1946—58 первый директор Института математики АН ГДР. Основные труды по теории функций, интегральным уравнениям, функциональному анализу. Определил и изучил геометрически гильбертово пространство, используя аналогии с геометрией Евклида. Занимался квадратичными формами. Известен оператор Гильберта-Шмидта и процесс Грама ― Шмидта.<br />
<br />
'''Йорген Педерсен Грам''' (27 июня 1850 - 29 апреля 1916) датский математик, родился в герцогстве Шлезвиг, Дания и умер в Копенгагене, Дания. Основные его работы "On series expansions determined by the methods of least squares", "Investigations of the number of primes less than a given number". Математический метод, который носит его имя, процесс Грама-Шмидта, впервые был опубликован в 1883. Теорема Грама и Определитель Грама также назван в его честь.<br />
<br />
Процесс Грама-Шмидта — это один из алгоритмов, в которых на основе множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> строится множество ортогональных векторов <math>{\displaystyle \mathbf {b}_{1},\;\ldots ,\;\mathbf {b} _{N}} </math> или ортонормированных векторов <math>{\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e}_{N}} </math>, причём так, что каждый вектор <math>{\displaystyle \mathbf {b} _{j}} </math> или <math>{\displaystyle \mathbf {e} _{j}}</math> может быть выражен линейной комбинацией векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\; \mathbf {a} _{j}}</math>.<br />
<br />
=== Математическое описание алгоритма ===<br />
==== Классический процесс Грама — Шмидта ====<br />
<br />
===== Алгоритм =====<br />
Пусть имеются линейно независимые векторы <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math>.<br />
<br />
Определим оператор проекции следующим образом: <math>\mathbf{proj}_{\mathbf{b}}\,\mathbf{a} = {\langle \mathbf{a}, \mathbf{b} \rangle \over \langle \mathbf{b}, \mathbf{b}\rangle} \mathbf{b} ,</math> <br />
<br />
где <math>\langle \mathbf{a}, \mathbf{b} \rangle</math> — скалярное произведение векторов <math>\mathbf{a}</math> и <math>\mathbf{b}</math>. <br />
<br />
Скалярное произведение для двух векторов <math>\mathbf{ a= [a_1, a_2, ...,a_k]}</math> и <math>\mathbf{ b= [b_1, b_2, ..., b_k]}</math> в '''''k'''''-мерном действительном пространстве определяется как:<br />
:<math>\langle \mathbf{a}, \mathbf{b} \rangle=\sum_{i=1}^k a_ib_i=a_1b_1+a_2b_2+\cdots+ a_kb_k</math>.<br />
<br />
Этот оператор проецирует вектор <math>\mathbf{a}</math> коллинеарно вектору <math>\mathbf{b}</math>.<br />
<br />
Ортогональность векторов <math>\mathbf{a}</math> и <math>\mathbf{b}</math> достигается на шаге (2).<br />
<br />
Классический процесс Грама — Шмидта выполняется следующим образом:<br />
<br />
: <math><br />
{\begin{array}{lclr}<br />
{\mathbf {b}}_{1}&=&{\mathbf {a}}_{1}&(1)\\<br />
{\mathbf {b}}_{2}&=&{\mathbf {a}}_{2}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{2}&(2)\\<br />
{\mathbf {b}}_{3}&=&{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{3}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{3}&(3)\\<br />
{\mathbf {b}}_{4}&=&{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{1}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{2}}}\,{\mathbf {a}}_{4}-{\mathbf {proj}}_{{{\mathbf {b}}_{3}}}\,{\mathbf {a}}_{4}&(4)\\<br />
&\vdots &&\\{\mathbf {b}}_{N}&=&{\mathbf {a}}_{N}-\displaystyle \sum _{{j=1}}^{{N-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{N}&(N)<br />
\end{array}}<br />
</math><br />
<br />
<br />
На основе каждого вектора <math>\mathbf{b}_j \;(j = 1 \ldots N)</math> может быть получен нормированный вектор: <math>\mathbf{e}_j = {\mathbf{b}_j\over \| \mathbf{b}_j \|}</math> (у нормированного вектора направление будет таким же, как у исходного, а длина — единичной). Причем берется норма согласованная со скалярным произведением <math>\| x \| = \sqrt{\langle x, x \rangle}</math><br />
<br />
Результаты процесса Грама — Шмидта:<br />
<br />
<math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_N</math> — система ортогональных векторов либо<br />
<br />
<math>\mathbf{e}_1,\;\ldots,\;\mathbf{e}_N</math> — система ортонормированных векторов.<br />
<br />
Вычисление <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_N</math> носит название ортогонализации Грама — Шмидта, а <math>\mathbf{e}_1,\;\ldots,\;\mathbf{e}_N</math> — ортонормализации Грама — Шмидта.<br />
<br />
===== Доказательство =====<br />
Докажем ортогональность векторов <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_N</math>.<br />
<br />
Для этого вычислим скалярное произведение <math>\langle \mathbf{b}_1, \mathbf{b}_2 \rangle</math>, подставив в него формулу (2). Мы получим ноль. Равенство нулю скалярного произведения векторов означает, что эти векторы ортогональны. Затем вычислим скалярное произведение <math>\langle \mathbf{b}_1, \mathbf{b}_3 \rangle</math>, используя результат для <math>\langle \mathbf{b}_1, \mathbf{b}_2 \rangle</math> и формулу (3). Мы снова получим ноль, то есть векторы <math>\mathbf{b}_1</math> и <math>\mathbf{b}_3</math> ортогональны. Общее доказательство выполняется методом математической индукции.<br />
<br />
===== Геометрическая интерпретация — вариант 1 =====<br />
[[Файл:Gram-Schmidt-step2.svg|right|frame|Рис. 1. Второй шаг процесса Грама — Шмидта]]<br />
Рассмотрим формулу (2) — второй шаг алгоритма.<br />
Её геометрическое представление изображено на рис. 1:<br />
<br />
1 — получение проекции вектора <math>\mathbf{a}_2</math> на <math>\mathbf{b}_1</math>;<br />
<br />
2 — вычисление <math>\mathbf{a}_2-\mathbf{proj}_{\mathbf{b}_1}\mathbf{a}_2</math>, то есть [[перпендикуляр]]а, которым выполняется проецирование конца <math>\mathbf{a}_2</math> на <math>\mathbf{b}_1</math>. <br />
<br />
Этот перпендикуляр — вычисляемый в формуле (2) вектор <math>\mathbf{b}_2</math>;<br />
<br />
3 — перемещение полученного на шаге 2 вектора <math>\mathbf{b}_2</math> в начало координат. Это перемещение сделано на рисунке лишь для наглядности. Оно не является математическим действием и поэтому не отражается в формуле (2).<br />
<br />
На рисунке видно, что вектор <math>\mathbf{b}_2</math> ортогонален вектору <math>\mathbf{b}_1</math>, так как <math>\mathbf{b}_2</math> является перпендикуляром, по которому <math>\mathbf{a}_2</math> проецируется на <math>\mathbf{b}_1</math>.<br />
<br />
Рассмотрим формулу (3) — третий шаг алгоритма — в следующем варианте:<br />
: <math><br />
\begin{array}{lcr}<br />
\mathbf{b}_3 = \mathbf{a}_3-(\mathbf{proj}_{\mathbf{b}_1}\mathbf{a}_3+\mathbf{proj}_{\mathbf{b}_2}\mathbf{a}_3) & & (6) \\<br />
\end{array}<br />
</math><br />
<br />
Её геометрическое представление изображено на рис. 2:<br />
[[Файл:Gram-schmidt-step3base1.png|center|frame|Рис. 2. Третий шаг процесса Грама — Шмидта]]<br />
<br />
1 — получение проекции вектора <math>\mathbf{a}_3</math> на <math>\mathbf{b}_1</math>;<br />
<br />
2 — получение проекции вектора <math>\mathbf{a}_3</math> на <math>\mathbf{b}_2</math>;<br />
<br />
3 — вычисление суммы <math>\mathbf{proj}_{\mathbf{b}_1}\mathbf{a}_3 + \mathbf{proj}_{\mathbf{b}_2}\mathbf{a}_3</math>, то есть проекции вектора <math>\mathbf{a}_3</math> на плоскость, образуемую векторами <math>\mathbf{b}_1</math> и <math>\mathbf{b}_2</math>. Эта плоскость закрашена на рисунке серым цветом;<br />
<br />
4 — вычисление <math>\mathbf{a}_3-(\mathbf{proj}_{\mathbf{b}_1}\mathbf{a}_3 + \mathbf{proj}_{\mathbf{b}_2}\mathbf{a}_3)</math>, то есть перпендикуляра, которым выполняется проецирование конца <math>\mathbf{a}_3</math> на плоскость, образуемую векторами <math>\mathbf{b}_1</math> и <math>\mathbf{b}_2</math>. Этот перпендикуляр — вычисляемый в формуле (6) вектор <math>\mathbf{b}_3</math>;<br />
<br />
5 — перемещение полученного <math>\mathbf{b}_3</math> в начало координат. Это перемещение сделано на рисунке лишь для наглядности. Оно не является математическим действием и поэтому не отражается в формуле (6).<br />
<br />
На рисунке видно, что вектор <math>\mathbf{b}_3</math> ортогонален векторам <math>\mathbf{b}_1</math> и <math>\mathbf{b}_2</math>, так как <math>\mathbf{b}_3</math> является перпендикуляром, по которому <math>\mathbf{a}_3</math> проецируется на плоскость, образуемую векторами <math>\mathbf{b}_1</math> и <math>\mathbf{b}_2</math>.<br />
<br />
Таким образом, в процессе Грама — Шмидта для вычисления <math>\mathbf{b}_j</math> выполняется проецирование <math>\mathbf{a}_j</math> ортогонально на [[гиперплоскость]]?, формируемую векторами <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_{j-1}</math>. Вектор <math>\mathbf{b}_j</math> затем вычисляется как разность между <math>\mathbf{a}_j</math> и его проекцией. То есть <math>\mathbf{b}_j</math> — это перпендикуляр? от конца <math>\mathbf{a}_j</math> к гиперплоскости?, формируемой векторами <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_{j-1}</math>. Поэтому <math>\mathbf{b}_j</math> ортогонален векторам, образующим эту гиперплоскость?.<br />
<br />
===== Численная неустойчивость =====<br />
При вычислении на ЭВМ по формулам (1) — (5) векторы <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_{N-1}</math> часто не точно ортогональны из-за [[Ошибка квантования|ошибок округления]]. Из-за потери ортогональности в процессе вычислений классический процесс Грама — Шмидта называют [[Численная устойчивость|численно неустойчивым]].<br />
<br />
==== Модифицированный процесс Грама — Шмидта ====<br />
Процесс Грама — Шмидта может быть сделан более вычислительно устойчивым путём небольшой модификации. Вместо вычисления <math>\mathbf{b}_j</math> как: <math> \mathbf{b}_j = \mathbf{a}_j - \mathbf{proj}_{\mathbf{b}_1}\,\mathbf{a}_j - \mathbf{proj}_{\mathbf{b}_2}\,\mathbf{a}_j - \ldots - \mathbf{proj}_{\mathbf{b}_{j-1}}\,\mathbf{a}_j \; (7) </math> этот вектор вычисляется следующим образом:<br />
: <math> \begin{array}{lclr}<br />
\mathbf{a}_j^{(1)} & = &\mathbf{a}_j - \mathbf{proj}_{\mathbf{b}_1}\,\mathbf{a}_j & (8) \\<br />
\mathbf{a}_j^{(2)} & = &\mathbf{a}_j^{(1)} - \mathbf{proj}_{\mathbf{b}_2} \, \mathbf{a}_j^{(1)} & (9) \\& \vdots & & \\<br />
\mathbf{a}_j^{(j-2)} & = & \mathbf{a}_j^{(j-3)} - \mathbf{proj}_{\mathbf{b}_{j-2}} \, \mathbf{a}_j^{(j-3)} & (10) \\<br />
\mathbf{b}_j & = & \mathbf{a}_j^{(j-2)} - \mathbf{proj}_{\mathbf{b}_{j-1}} \, \mathbf{a}_j^{(j-2)} & (11)<br />
\end{array} </math><br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро последовательной версии метода ортогонализации Грамма-Шмидта можно составить из множественных (всего их <math>\frac{N(N-1)}{2}</math>) вычислений проекций : <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math><br />
<br />
=== Макроструктура алгоритма ===<br />
Данный алгоритм использует в качестве составных частей другие алгоритмы. В дальнейшем имеет смысл описывать алгоритм не в максимально детализированном виде (т.е. на уровне арифметических операций), а давать только его макроструктуру, то есть описывает структуру и состав макроопераций. Типичной макрооперацией, часто встречающиеся в алгоритме является оператор проекции векторов. Как записано и в описании ядра алгоритма, основную часть метода ортогонализации Грамма-Шмидта составляют множественные (всего их <math>\frac{N(N-1)}{2}</math>) вычисления оператора проекции.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Следующий алгоритм реализует нормализацию Грамма-Шмидта. Векторы <math>v_1,...,v_k</math> заменяются набором ортонормированных векторов, которые имеют ту же линейную оболочку.<br />
[[File:Gram-Schmidt ortho.png|none|thumb]]<br />
<br />
Вычислительная сложность этого <math>2Nk^2</math> операции с плавающей точкой, где N - размерность векторов.<br />
<br />
Последовательность исполнения метода следующая:<br />
<br />
1. <math>\mathbf {b}_{1}=\mathbf {a}_{1}</math><br />
<br />
2. Далее для всех векторов <math>\mathbf {b}_{i}</math> для <math>i=2 ... N</math> производим вычисление по следующей формуле:<br />
<math>{\mathbf {b}}_{i}={\mathbf {a}}_{i}-\displaystyle \sum _{{j=1}}^{{i-1}}{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math>. <br />
<br />
В ней на каждом шаге <math>i</math> по очереди вычисляются все <math>{\mathbf {proj}}_{{{\mathbf {b}}_{j}}}\,{\mathbf {a}}_{i}</math> для <math>j=1 ... i-1</math><br />
<br />
Пример реализации на Python. Функция работает для произвольного количества векторов любой размерности. При этом если количество векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_N</math> больше их размерности или они линейно зависимы то функция возвращает максимально возможное число линейно независимых векторов <math>\mathbf{b}_1,\;\ldots,\;\mathbf{b}_n</math>, а остальные векторы <math>\mathbf{b}_{n+1},\;\ldots,\;\mathbf{b}_N</math> нулевые.<br />
<source lang="python"><br />
import random<br />
<br />
def GramSchmidt(*a):<br />
k=len(a[0])<br />
N=len(a);<br />
b = [[0] * k for i in range(N)]<br />
b[0]=a[0]<br />
for i in range(1,N):<br />
sum=a[i]<br />
for j in range(0,i):<br />
scolar_ab=0<br />
scolar_bb=0<br />
proj=[i for i in range(k)]<br />
for n in range(k):<br />
scolar_ab+=b[j][n]*a[i][n]<br />
scolar_bb+=b[j][n]*b[j][n]<br />
for n in range(k):<br />
proj[n]=(scolar_ab/scolar_bb)*b[j][n]<br />
for n in range(k):<br />
sum[n]-=proj[n]<br />
b[i]=sum<br />
return b;<br />
<br />
l1=[random.randrange(0,10) for i in range(3)]<br />
l2=[random.randrange(0,10) for i in range(3)]<br />
l3=[random.randrange(0,10) for i in range(3)]<br />
print(l1,l2,l3)<br />
print(GramSchmidt(l1,l2,l3))<br />
</source><br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для построения ортогонального набора векторов в последовательном варианте требуется:<br />
<br />
При k=N:<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3N-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3N^2 (N-1)}{2}</math> умножений.<br />
<br />
При k≠N<br />
<br />
* <math>\frac{N(N-1)}{2}</math> делений,<br />
<br />
* <math>\frac{N(N-1)(3k-1)}{2}</math> сложений (вычитаний),<br />
<br />
* <math>\frac{3Nk (N-1)}{2}</math> умножений.<br />
<br />
При классификации по последовательной сложности, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам с кубической сложностью.<br />
<br />
=== Информационный граф ===<br />
Опишем граф алгоритма как аналитически, так и в виде рисунка.<br />
<br />
Граф алгоритма состоит из двух групп вершин, расположенных в целочисленных узлах двух областей.<br />
<br />
'''Первая''' группа вершин расположена в двумерной области, соответствующая ей операция <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i} = {\langle \mathbf{a_i}, \mathbf{b_j} \rangle \over \langle \mathbf{b_j}, \mathbf{b_j}\rangle} \mathbf{b_j} ,</math> . <br />
<br />
Естественно введённые координаты области таковы:<br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
<math>a_i</math>:<br />
элементы входных данных, а именно <math>a_i</math>;<br />
<br />
<math>b_j</math>: <br />
результат срабатывания операции, соответствующей вершине из второй группы, с координатой j.<br />
<br />
'''Вторая''' группа вершин расположена в двухмерной области, соответствующая ей операция <math>a - b</math>. <br />
<br />
Естественно введённые координаты области таковы: <br />
<br />
i — меняется в диапазоне от 2 до N, принимая все целочисленные значения;<br />
<br />
j — меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.<br />
<br />
Аргументы операции следующие:<br />
<br />
a:<br />
<br />
j=1 - входные данные <math>a_j</math><br />
<br />
j>1 - результат срабатывания операции, соответствующей вершине из второй группы, с координатой j-1<br />
<br />
b: <br />
<br />
результат срабатывания операции, соответствующей вершине из первой группы, с координатой j<br />
[[Файл:picture00001.jpg|мини|upright=2|centre|frame|Рис. 5. Граф алгоритма с отображением входных и выходных данных. Proj - вычисление оператора проекции, F - операция a-b, In - входные данные, Out - результаты.]]<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
<br />
В параллельном варианте, в отличие от последовательного, вычисления <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> можно выполнять параллельно. То есть после каждого вычисления <math>b_j</math> можно запускать параллельное вычисление <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> для всех <math>i=j+1..N</math>. Кроме того можно параллельно производить вычитание соответствующего <math>\mathbf{proj}_{\mathbf{b_j}}\,\mathbf{a_i}</math> для всех <math>i=j+1..N</math>.<br />
<br />
Для ортогонализации в параллельном варианте требуется последовательно выполнить следующие ярусы:<br />
* <math>N</math> ярусов в каждом из которых будет выполнятся,<br />
* по <math>N - 1</math> операторов проекций (в каждом из ярусов линейное количество проекций, в зависимости от яруса — от <math>N-1</math> до <math>1</math>),<br />
* по <math>N - 1</math> сложений (в каждом из ярусов линейное количество сложений, в зависимости от яруса — от <math>N-1</math> до <math>1</math>),<br />
<br />
При классификации по высоте (количество ярусов в ЯПФ ) ЯПФ, таким образом, ортогонализация Грамма-Шмидта относится к алгоритмам со сложностью <math>O(N)</math>. <br />
<br />
При классификации по ширине (максимальное количество вершин в ярусе) ЯПФ его сложность будет <math>O(N^2)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': множества линейно независимых векторов <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math>, каждый из которых описывается <math>\mathbf{ a_i= [a^i_1, a^i_2, ..., a^i_k]}</math> .<br />
<br />
Дополнительные ограничения:<br />
* вектора <math>{\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{N}}</math> линейно независимы, поэтому <math>k \geqslant N</math>.<br />
<br />
'''Объём входных данных''': <math>Nk</math> <br />
<br />
'''Выходные данные''': множество ортогональных векторов <math>{\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{N}} </math>, каждый из которых описывается <math>\mathbf{ b_i= [b^i_1, b^i_2, ..., b^i_k]}</math> .<br />
<br />
'''Объём выходных данных''': <math>Nk</math> <br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение кубической к квадратичной).<br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, также линейна.<br />
<br />
Алгоритм почти полностью детерминирован — единственность результата выполнения гарантирована, однако возможно накопление ошибок округления при использовании классического процесса Грама-Шмидта. При этом модифицированный алгоритм дает более хороший результат.<br />
<br />
Алгоритм является численно неустойчивым — ошибки округления могут привести к неортогональности полученных векторов.<br />
<br />
Процесс Грама — Шмидта может применяться также к бесконечной последовательности линейно независимых векторов.<br />
<br />
Кроме того, процесс Грама — Шмидта может применяться к линейно зависимым векторам. В этом случае он выдаёт <math>\mathbf{0}</math> (нулевой вектор) на шаге <math>j</math>, если <math>\mathbf{a}_j</math> является линейной комбинацией векторов <math>\mathbf{a}_1,\;\ldots,\;\mathbf{a}_{j-1}</math>. Если это может случиться, то для сохранения ортогональности выходных векторов и для предотвращения деления на ноль при ортонормировании алгоритм должен делать проверку на нулевые векторы и отбрасывать их. Количество векторов, выдаваемых алгоритмом, будет равно размерности подпространства, порождённого векторами (т.е. количеству линейно независимых векторов, которые можно выделить среди исходных векторов).<br />
<br />
Процесс Грама ― Шмидта может быть истолкован как разложение невырожденной квадратной матрицы в произведение ортогональной (или унитарной матрицы в случае эрмитова пространства) и верхнетреугольной матрицы с положительными диагональными элементами ― QR-разложение, что есть частный случай разложения Ивасавы.</div>Frolovhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2&diff=25301Классификация алгоритмов2018-01-20T12:01:05Z<p>Frolov: /* Векторные операции */</p>
<hr />
<div>__TOC__<br />
=Векторные операции=<br />
# {{level|Суммирование сдваиванием}}<br />
## {{level|Нахождение суммы элементов массива сдваиванием}}<br />
## {{level|Нахождение частных сумм элементов массива сдваиванием}}<br />
# {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}<br />
# {{level|Последовательно-параллельный метод суммирования}}<br />
=Матрично-векторные операции=<br />
# {{level|Умножение плотной матрицы на вектор}}<br />
## {{level|Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)}}<br />
<br />
=Матричные операции=<br />
# {{level|Умножение плотных матриц}}<br />
## {{level|Перемножение плотных неособенных матриц (последовательный вещественный вариант)}}<br />
## {{level|Метод Штрассена}}<br />
=Разложения матриц=<br />
{{level|Задача разложения матриц}}<br />
# {{level|Треугольные разложения}}<br />
## {{level|Метод Гаусса (нахождение LU-разложения)}}<br />
### {{level|LU-разложение методом Гаусса без перестановок}}<br />
#### {{level|LU-разложение методом Гаусса}}<br />
#### {{level|Компактная схема метода Гаусса и её модификации}}<br />
##### {{level|Компактная схема метода Гаусса для плотной матрицы}}<br />
##### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}<br />
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}<br />
### {{level|LU-разложение методом Гаусса с перестановками}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по столбцу}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по строке}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по главной диагонали}}<br />
#### {{level|LU-разложение методом Гаусса с выбором ведущего элемента по всей матрице}}<br />
## {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
# {{level|Известные треугольные разложения для матриц специального вида}}<br />
# {{level|Унитарно-треугольные разложения}}<br />
## {{level|QR-разложения плотных неособенных матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
#### {{level|Метод Гивенса (вращений) QR-разложения квадратной матрицы (вещественный точечный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
#### {{level|Метод Хаусхолдера (отражений) QR-разложения квадратной матрицы, вещественный точечный вариант}}<br />
### {{level|Метод ортогонализации}}<br />
#### {{level|Классический метод ортогонализации}}<br />
#### {{level|Метод ортогонализации с переортогонализацией}}<br />
### {{level|Метод треугольного разложения матрицы Грама}}<br />
## {{level|Методы QR-разложения плотных хессенберговых матриц}}<br />
### {{level|Метод Гивенса (вращений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения хессенберговой матрицы (вещественный вариант)}}<br />
# {{level|Подобные разложения}}<br />
## {{level|Подобные разложения на унитарные и хессенберговы матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|Классический точечный метод Гивенса (вращений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
## {{level|Симметричные разложения на унитарные и трёхдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к трёхдиагональной форме}}<br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
# {{level|Неподобные унитарные разложения}}<br />
## {{level|Неподобные разложения на унитарные и двухдиагональные матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к двухдиагональной форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к двухдиагональной форме}}<br />
## {{level|Разложения на унитарные и диагональные матрицы}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
#### {{level|Методы нахождения сингулярных чисел двухдиагональных матриц}}<br />
##### {{level|Алгоритм dqds нахождения сингулярных чисел двухдиагональной матрицы}}<br />
###### {{level|Итерация алгоритма dqds}}<br />
=Решение систем линейных уравнений=<br />
# {{level|Прямые методы решения СЛАУ}}<br />
## {{level|Linpack benchmark}}<br />
## {{level|Методы решения СЛАУ с матрицами специального вида}}<br />
### {{level|Методы решения СЛАУ с треугольными матрицами}}<br />
#### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
#### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
#### {{level|Методы решения СЛАУ с двудиагональными матрицами}}<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
#### {{level|Методы, основанные на стандартном LU-разложении матрицы}}<br />
##### {{level|Прогонка}}<br />
###### {{level|Прогонка, точечный вариант}}<br />
###### {{level|Классическая монотонная прогонка, повторный вариант}}<br />
##### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}<br />
###### {{level|Метод сдваивания Стоуна для решения двудиагональных СЛАУ}}<br />
##### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Метод редукции}}<br />
###### {{level|Полный метод редукции}}<br />
###### {{level|Повторный метод редукции для новой правой части}}<br />
##### {{level|Встречная прогонка}}<br />
###### {{level|Встречная прогонка, точечный вариант}}<br />
###### {{level|Повторная встречная прогонка, точечный вариант}}<br />
##### {{level|Метод циклической редукции}}<br />
###### {{level|Полный метод циклической редукции}}<br />
###### {{level|Повторный метод циклической редукции для новой правой части}}<br />
##### {{level|Метод окаймления}}<br />
### Методы решения СЛАУ с блочно-треугольными матрицами<br />
#### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
#### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
#### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
##### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
##### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
##### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
#### Методы, основанные на стандартном LU-разложении матрицы<br />
##### {{level|Блочная прогонка}}<br />
##### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
#### Другие методы<br />
##### {{level|Встречная прогонка, блочный вариант}}<br />
##### {{level|Блочный метод циклической редукции}}<br />
##### {{level|Блочный метод окаймления}}<br />
## {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
# Итерационные методы решения СЛАУ<br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Стабилизированный метод бисопряженных градиентов (BiCGStab)}}<br />
## {{level|Алгоритм_Качмажа}}<br />
=Решение систем нелинейных уравнений=<br />
# {{level|Метод Ньютона для систем нелинейных уравнений}}<br />
=Решения спектральных задач=<br />
# {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
## {{level|QR-алгоритм}}<br />
### {{level|QR-алгоритм, используемый в SCALAPACK}}<br />
#### {{level|Классический точечный метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (почти треугольной) форме}}<br />
#### {{level|QR-алгоритм для хессенберговой матрицы, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для симметричных матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения симметричных матриц к трёхдиагональному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
### {{level|QR-алгоритм для комплексных эрмитовых матриц, используемый в SCALAPACK}}<br />
#### {{level|Метод Хаусхолдера (отражений) для приведения комплексных эрмитовых матриц к трёхдиагональному симметричному виду}}<br />
#### {{level|QR-алгоритм для симметричных трёхдиагональных матриц, используемый в SCALAPACK}}<br />
## {{level|Метод Якоби (вращений) для решения спектральной задачи у симметричных матриц}}<br />
### {{level|Классический метод Якоби (вращений) для симметричных матриц с выбором по всей матрице}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением}}<br />
### {{level|Метод Якоби (вращений) для симметричных матриц с циклическим исключением и барьерами}}<br />
## {{level|Метод Ланцоша}}<br />
### {{level|Алгоритм Ланцоша для точной арифметики (без переортогонализации)}}<br />
# {{level|Частичная спектральная задача}}<br />
## {{level|Метод бисекций}}<br />
# {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
## {{level|Метод Якоби (вращений) для нахождения сингулярных значений неособенных матриц}}<br />
### {{level|Метод Якоби (вращений) для нахождения сингулярных значений с циклическим перебором}}<br />
### {{level|Метод Якоби для нахождения сингулярных значений со специальным подбором вращений}}<br />
## {{level|QR-алгоритм в приложении к сингулярному разложению}}<br />
=Тесты производительности компьютеров=<br />
# {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# {{level|Linpack benchmark}}<br />
=Преобразование Фурье=<br />
# {{level|Быстрое преобразование Фурье}}<br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
=Алгебра многочленов=<br />
# {{level|Схема Горнера, вещественная версия, последовательный вариант}}<br />
=Численные методы интегрирования=<br />
# {{level|Квадратурные формулы}}<br />
# {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод прямоугольников|Метод прямоугольников]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод трапеций|Метод трапеций]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод парабол (метод Симпсона)|Метод парабол (метод Симпсона)]]<br />
## [[Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Метод Гаусса|Метод Гаусса]]<br />
=Алгоритмы на графах=<br />
# Обход графа<br />
## {{level|Поиск в ширину (BFS)}}<br />
## {{level|Поиск в глубину (DFS)}}<br />
# {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
## {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
## {{level|Алгоритм Дейкстры}}<br />
## {{level|Алгоритм Беллмана-Форда}}<br />
## {{level|Алгоритм Δ-шагания}}<br />
# {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
## {{level|Алгоритм Джонсона}}<br />
## {{level|Алгоритм Флойда-Уоршелла}}<br />
# {{level|Поиск транзитивного замыкания орграфа}}<br />
## {{level|Алгоритм Пурдома}}<br />
# {{level|Определение диаметра графа}}<br />
# {{level|Построение минимального остовного дерева (MST)}}<br />
## {{level|Алгоритм Борувки}}<br />
## {{level|Алгоритм Крускала}}<br />
## {{level|Алгоритм Прима}}<br />
## {{level|Алгоритм GHS}}<br />
# {{level|Поиск изоморфных подграфов}}<br />
## {{level|Алгоритм Ульмана}}<br />
## {{level|Алгоритм VF2}}<br />
# {{level|Связность в графах}}<br />
## {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
## {{level|Система непересекающихся множеств}}<br />
## {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
## {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
## {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
## {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
## {{level|Определение вершинной связности графа}}<br />
## {{level|Алгоритм Габова определения рёберной связности графа}}<br />
# {{level|Поиск максимального потока в транспортной сети}}<br />
## {{level|Алгоритм Форда-Фалкерсона}}<br />
## {{level|Алгоритм проталкивания предпотока}}<br />
# {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
# {{level|Задача о назначениях}}<br />
## {{level|Венгерский алгоритм}}<br />
## {{level|Алгоритм аукциона}}<br />
## {{level|Алгоритм Гопкрофта-Карпа}}<br />
# {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
=Алгоритмы поиска=<br />
# {{level|Линейный поиск - находит элемент в любом списке|Линейный поиск}}, <math>O(n)</math><br />
# {{level|Двоичный поиск - находит элемент в отсортированном списке|Двоичный поиск}}, <math>O(\log(n))</math><br />
=Алгоритмы сортировки=<br />
# {{level|Сортировка с помощью двоичного дерева}}<br />
# {{level|Сортировка пузырьком}}<br />
# {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
=Вычислительная геометрия=<br />
# {{level|Поиск диаметра множества точек}}<br />
# {{level|Построение выпуклой оболочки набора точек}}<br />
# {{level|Триангуляция Делоне}}<br />
# {{level|Диаграмма Вороного}}<br />
# {{level|Принадлежность точки многоугольнику}}<br />
# {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
# {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 \cdot n_2)</math><br />
=Компьютерная графика=<br />
# {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
# {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
# {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
# {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
=Криптографические алгоритмы=<br />
# {{level|Метод встречи посередине}}<br />
=Нейронные сети=<br />
# {{level|Распознование образов}}<br />
## {{level|Распознование текста}}<br />
## {{level|Распознование речи}}<br />
## {{level|Распознование лиц}}<br />
=Алгоритмы оптимизации=<br />
# {{level|Линейное программирование}}<br />
# {{level|Симплекс-метод}}<br />
# {{level|Метод ветвей и границ}}<br />
# {{level|Генетические алгоритмы}}<br />
# {{level|Муравьиные алгоритмы}}<br />
# {{level|Комбинированные алгоритмы}}<br />
# {{level|Стохастическое двойственное динамическое программирование (SDDP)}}<br />
=Алгоритмы машинного обучения=<br />
# {{level|Алгоритм k средних (k-means)}}<br />
=Алгоритмы теории игр=<br />
=Алгоритмы моделирования квантовых систем=<br />
# {{level|Алгоритмы моделирования квантовых вычислений}}<br />
## {{level|Однокубитное преобразование вектора-состояния}}<br />
## {{level|Двухкубитное преобразование вектора-состояния}}<br />
## {{level|Моделирование квантового преобразования Фурье}}<br />
=Алгоритмы решения уравнений математической физики=<br />
# {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
=Другие алгоритмы=<br />
<br />
[[en:Algorithm classification]]<br />
<br />
[[Категория:Алгоритмы|*]]</div>Frolov