https://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/api.php?action=feedcontributions&feedformat=atom&user=%D0%98%D0%BA%D1%80%D0%B0%D0%BC%D0%BE%D0%B2Алговики - Вклад [ru]2026-10-22T14:20:46ZВкладMediaWiki 1.43.5https://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3442Algorithm classification2016-04-09T16:11:30Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Single source shortest path (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|All pairs shortest path (APSP)}}<br />
### {{level|Johnson's algorithm}}<br />
### {{level|Floyd-Warshall algorithm}}<br />
## {{level|Transitive closure of a directed graph}}<br />
### {{level|Purdom's algorithm}}<br />
## {{level|Longest shortest path}}<br />
## {{level|Construction of the minimum spanning tree (MST)}}<br />
### {{level|Boruvka's akgorithm}}<br />
### {{level|Kruskal's algorithm}}<br />
### {{level|Prim's algorithm}}<br />
### {{level|GHS algorithm}}<br />
## {{level|Search for isomorphic subgraphs}}<br />
### {{level|Ullman's algorithm}}<br />
### {{level|VF2 algorithm}}<br />
## {{level|Graph connectivity}}<br />
### {{level|Shiloach-Vishkin algorithm for finding the connected components}}<br />
### {{level|Disjoint set union}}<br />
### {{level|Tarjan's strongly connected components algorithm}}<br />
### {{level|DCSC algorithm for finding the strongly connected components}}<br />
### {{level|Tarjan's biconnected components algorithm}}<br />
### {{level|Tarjan-Vishkin biconnected components algorithm}}<br />
### {{level|Tarjan's algorithm for finding the bridges of a graph}}<br />
### {{level|Vertex connectivity of a graph}}<br />
### {{level|Gabow's edge connectivity algorithm}}<br />
## {{level|Finding maximal flow in a transportation network}}<br />
### {{level|Ford–Fulkerson algorithm}}<br />
### {{level|Preflow-Push algorithm}}<br />
## {{level|Finding minimal-cost flow in a transportation network}}<br />
## {{level|Assignment problem}}<br />
### {{level|Hungarian algorithm}}<br />
### {{level|Auction algorithm}}<br />
### {{level|Hopcroft–Karp algorithm}}<br />
## {{level|Betweenness centrality algorithm|Finding the betweenness centrality of vertices}}<br />
# <div id="Алгоритмы поиска">'''Search algorithms'''</div><br />
## {{level|Binary search: Finding the position of a target value within a sorted array}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Sorting algorithms'''</div><br />
## {{level|Binary tree sort}}<br />
## {{level|Bubble sort}}<br />
## {{level|Merge sort (serial and parallel variants)}}<br />
# <div id="Вычислительная геометрия">'''Computational geometry'''</div><br />
## {{level|Finding the diameter of a point set}}<br />
## {{level|Finding the convex hull of a point set}}<br />
## {{level|Delaunay triangulation}}<br />
## {{level|Voronoi diagram}}<br />
## {{level|Point-in-polygon problem}}<br />
## {{level|Convex polygon intersection}} - complexity <math>O(n_1 + n_2)</math><br />
## {{level|Star-shaped polygon intersection}} - complexity <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Computer graphics'''</div><br />
## {{level|Line drawing algorithms: Approximating a line segment on discrete graphical media}}<br />
## {{level|Determining visible parts of a three-dimensional scene}}<br />
## {{level|Ray tracing: Rendering realistic images}}<br />
## {{level|Global illumination: Regarding direct illumination and reflection from other objects}}<br />
# <div id="Криптографические алгоритмы">'''Cryptographic algorithms'''</div><br />
# <div id="Нейронные сети">'''Neural networks'''</div><br />
# <div id="Алгоритмы оптимизации">'''Optimization algorithms'''</div><br />
## {{level|Linear programming}}<br />
## {{level|Simplex algorithm}}<br />
## {{level|Branch and bound method (serial and parallel variants)}}<br />
## {{level|Genetic algorithms}}<br />
## {{level|Ant colony algorithms}}<br />
## {{level|Hybrid algorithms}}<br />
## {{level|Finding extrema of a function}}<br />
# <div id="Алгоритмы теории игр">'''Game theory algorithms'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Algorithms for quantum system simulation'''</div><br />
## ''Algorithms for quantum computation simulation''<br />
### {{level|Single-qubit transform of a state vector}}<br />
### {{level|Two-qubit transform of a state vector}}<br />
### {{level|Quantum Fourier transform simulation}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Algorithms for solving equations of mathematical physics'''</div><br />
## {{level|Poisson equation: Solving with DFT}}<br />
# <div id="Другие алгоритмы">'''Other algorithms'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3441Algorithm classification2016-04-09T16:06:30Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Single source shortest path (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|All pairs shortest path (APSP)}}<br />
### {{level|Johnson's algorithm}}<br />
### {{level|Floyd-Warshall algorithm}}<br />
## {{level|Transitive closure of a directed graph}}<br />
### {{level|Purdom's algorithm}}<br />
## {{level|Longest shortest path}}<br />
## {{level|Construction of the minimum spanning tree (MST)}}<br />
### {{level|Boruvka's akgorithm}}<br />
### {{level|Kruskal's algorithm}}<br />
### {{level|Prim's algorithm}}<br />
### {{level|GHS algorithm}}<br />
## {{level|Search for isomorphic subgraphs}}<br />
### {{level|Ullman's algorithm}}<br />
### {{level|VF2 algorithm}}<br />
## {{level|Graph connectivity}}<br />
### {{level|Shiloach-Vishkin algorithm for finding the connected components}}<br />
### {{level|Disjoint set union}}<br />
### {{level|Tarjan's strongly connected components algorithm}}<br />
### {{level|DCSC algorithm for finding the strongly connected components}}<br />
### {{level|Tarjan's biconnected components algorithm}}<br />
### {{level|Tarjan-Vishkin biconnected components algorithm}}<br />
### {{level|Tarjan's algorithm for finding the bridges of a graph}}<br />
### {{level|Vertex connectivity of a graph}}<br />
### {{level|Gabow's edge connectivity algorithm}}<br />
## {{level|Finding maximal flow in a transportation network}}<br />
### {{level|Ford–Fulkerson algorithm}}<br />
### {{level|Preflow-Push algorithm}}<br />
## {{level|Finding minimal-cost flow in a transportation network}}<br />
## {{level|Assignment problem}}<br />
### {{level|Hungarian algorithm}}<br />
### {{level|Auction algorithm}}<br />
### {{level|Hopcroft–Karp algorithm}}<br />
## {{level|Betweenness centrality algorithm|Finding the betweenness centrality of vertices}}<br />
# <div id="Алгоритмы поиска">'''Search algorithms'''</div><br />
## {{level|Binary search: Finding the position of a target value within a sorted array}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Sorting algorithms'''</div><br />
## {{level|Binary tree sort}}<br />
## {{level|Bubble sort}}<br />
## {{level|Merge sort (serial and parallel variants)}}<br />
# <div id="Вычислительная геометрия">'''Computational geometry'''</div><br />
## {{level|Finding the diameter of a point set}}<br />
## {{level|Finding the convex hull of a point set}}<br />
## {{level|Delaunay triangulation}}<br />
## {{level|Voronoi diagram}}<br />
## {{level|Point-in-polygon problem}}<br />
## {{level|Convex polygon intersection}} - complexity <math>O(n_1 + n_2)</math><br />
## {{level|Star-shaped polygon intersection}} - complexity <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Computer graphics'''</div><br />
## {{level|Line drawing algorithms: Approximating a line segment on discrete graphical media}}<br />
## {{level|Determining visible parts of a three-dimensional scene}}<br />
## {{level|Ray tracing: Rendering realistic images}}<br />
## {{level|Global illumination: Regarding direct illumination and reflection from other objects}}<br />
# <div id="Криптографические алгоритмы">'''Cryptographic algorithms'''</div><br />
# <div id="Нейронные сети">'''Neural networks'''</div><br />
# <div id="Алгоритмы оптимизации">'''Optimization algorithms'''</div><br />
## {{level|Linear programming}}<br />
## {{level|Simplex algorithm}}<br />
## {{level|Branch and bound method (serial and parallel variants)}}<br />
## {{level|Genetic algorithms}}<br />
## {{level|Ant colony algorithms}}<br />
## {{level|Hybrid algorithms}}<br />
## {{level|Finding extrema of a function}}<br />
# <div id="Алгоритмы теории игр">'''Game theory algorithms'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Algorithms for quantum system simulation'''</div><br />
## ''Algorithms for quantum computation simulation''<br />
### {{level|Single-qubit transform of a state vector}}<br />
### {{level|Two-qubit transform of a state vector}}<br />
### {{level|Quantum Fourier transform simulation}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3440Algorithm classification2016-04-09T15:44:29Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Single source shortest path (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|All pairs shortest path (APSP)}}<br />
### {{level|Johnson's algorithm}}<br />
### {{level|Floyd-Warshall algorithm}}<br />
## {{level|Transitive closure of a directed graph}}<br />
### {{level|Purdom's algorithm}}<br />
## {{level|Longest shortest path}}<br />
## {{level|Construction of the minimum spanning tree (MST)}}<br />
### {{level|Boruvka's akgorithm}}<br />
### {{level|Kruskal's algorithm}}<br />
### {{level|Prim's algorithm}}<br />
### {{level|GHS algorithm}}<br />
## {{level|Search for isomorphic subgraphs}}<br />
### {{level|Ullman's algorithm}}<br />
### {{level|VF2 algorithm}}<br />
## {{level|Graph connectivity}}<br />
### {{level|Shiloach-Vishkin algorithm for finding the connected components}}<br />
### {{level|Disjoint set union}}<br />
### {{level|Tarjan's strongly connected components algorithm}}<br />
### {{level|DCSC algorithm for finding the strongly connected components}}<br />
### {{level|Tarjan's biconnected components algorithm}}<br />
### {{level|Tarjan-Vishkin biconnected components algorithm}}<br />
### {{level|Tarjan's algorithm for finding the bridges of a graph}}<br />
### {{level|Vertex connectivity of a graph}}<br />
### {{level|Gabow's edge connectivity algorithm}}<br />
## {{level|Finding maximal flow in a transportation network}}<br />
### {{level|Ford–Fulkerson algorithm}}<br />
### {{level|Preflow-Push algorithm}}<br />
## {{level|Finding minimal-cost flow in a transportation network}}<br />
## {{level|Assignment problem}}<br />
### {{level|Hungarian algorithm}}<br />
### {{level|Auction algorithm}}<br />
### {{level|Hopcroft–Karp algorithm}}<br />
## {{level|Betweenness centrality algorithm|Finding the betweenness centrality of vertices}}<br />
# <div id="Алгоритмы поиска">'''Search algorithms'''</div><br />
## {{level|Binary search: Finding the position of a target value within a sorted array}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Sorting algorithms'''</div><br />
## {{level|Binary tree sort}}<br />
## {{level|Bubble sort}}<br />
## {{level|Merge sort (serial and parallel variants)}}<br />
# <div id="Вычислительная геометрия">'''Computational geometry'''</div><br />
## {{level|Finding the diameter of a point set}}<br />
## {{level|Finding the convex hull of a point set}}<br />
## {{level|Delaunay triangulation}}<br />
## {{level|Voronoi diagram}}<br />
## {{level|Point-in-polygon problem}}<br />
## {{level|Convex polygon intersection}} - complexity <math>O(n_1 + n_2)</math><br />
## {{level|Star-shaped polygon intersection}} - complexity <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Computer graphics'''</div><br />
## {{level|Line drawing algorithms: Approximating a line segment on discrete graphical media}}<br />
## {{level|Determining visible parts of a three-dimensional scene}}<br />
## {{level|Ray tracing: Rendering realistic images}}<br />
## {{level|Global illumination: Regarding direct illumination and reflection from other objects}}<br />
# <div id="Криптографические алгоритмы">'''Cryptographic algorithms'''</div><br />
# <div id="Нейронные сети">'''Neural networks'''</div><br />
# <div id="Алгоритмы оптимизации">'''Optimization algorithms'''</div><br />
## {{level|Linear programming}}<br />
## {{level|Simplex algorithm}}<br />
## {{level|Branch and bound method (serial and parallel variants)}}<br />
## {{level|Genetic algorithms}}<br />
## {{level|Ant colony algorithms}}<br />
## {{level|Hybrid algorithms}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3439Algorithm classification2016-04-09T15:17:26Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Single source shortest path (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|All pairs shortest path (APSP)}}<br />
### {{level|Johnson's algorithm}}<br />
### {{level|Floyd-Warshall algorithm}}<br />
## {{level|Transitive closure of a directed graph}}<br />
### {{level|Purdom's algorithm}}<br />
## {{level|Longest shortest path}}<br />
## {{level|Construction of the minimum spanning tree (MST)}}<br />
### {{level|Boruvka's akgorithm}}<br />
### {{level|Kruskal's algorithm}}<br />
### {{level|Prim's algorithm}}<br />
### {{level|GHS algorithm}}<br />
## {{level|Search for isomorphic subgraphs}}<br />
### {{level|Ullman's algorithm}}<br />
### {{level|VF2 algorithm}}<br />
## {{level|Graph connectivity}}<br />
### {{level|Shiloach-Vishkin algorithm for finding the connected components}}<br />
### {{level|Disjoint set union}}<br />
### {{level|Tarjan's strongly connected components algorithm}}<br />
### {{level|DCSC algorithm for finding the strongly connected components}}<br />
### {{level|Tarjan's biconnected components algorithm}}<br />
### {{level|Tarjan-Vishkin biconnected components algorithm}}<br />
### {{level|Tarjan's algorithm for finding the bridges of a graph}}<br />
### {{level|Vertex connectivity of a graph}}<br />
### {{level|Gabow's edge connectivity algorithm}}<br />
## {{level|Finding maximal flow in a transportation network}}<br />
### {{level|Ford–Fulkerson algorithm}}<br />
### {{level|Preflow-Push algorithm}}<br />
## {{level|Finding minimal-cost flow in a transportation network}}<br />
## {{level|Assignment problem}}<br />
### {{level|Hungarian algorithm}}<br />
### {{level|Auction algorithm}}<br />
### {{level|Hopcroft–Karp algorithm}}<br />
## {{level|Betweenness centrality algorithm|Finding the betweenness centrality of vertices}}<br />
# <div id="Алгоритмы поиска">'''Search algorithms'''</div><br />
## {{level|Binary search: Finding the position of a target value within a sorted array}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Sorting algorithms'''</div><br />
## {{level|Binary tree sort}}<br />
## {{level|Bubble sort}}<br />
## {{level|Merge sort (serial and parallel variants)}}<br />
# <div id="Вычислительная геометрия">'''Computational geometry'''</div><br />
## {{level|Finding the diameter of a point set}}<br />
## {{level|Finding the convex hull of a point set}}<br />
## {{level|Delaunay triangulation}}<br />
## {{level|Voronoi diagram}}<br />
## {{level|Point-in-polygon problem}}<br />
## {{level|Convex polygon intersection}} - complexity <math>O(n_1 + n_2)</math><br />
## {{level|Star-shaped polygon intersection}} - complexity <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Computer graphics'''</div><br />
## {{level|Line drawing algorithms: Approximating a line segment on discrete graphical media}}<br />
## {{level|Determining visible parts of a three-dimensional scene}}<br />
## {{level|Ray tracing: Rendering realistic images}}<br />
## {{level|Global illumination: Regarding direct illumination and reflection from other objects}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3438Algorithm classification2016-04-09T14:12:31Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Single source shortest path (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|All pairs shortest path (APSP)}}<br />
### {{level|Johnson's algorithm}}<br />
### {{level|Floyd-Warshall algorithm}}<br />
## {{level|Transitive closure of a directed graph}}<br />
### {{level|Purdom's algorithm}}<br />
## {{level|Longest shortest path}}<br />
## {{level|Construction of the minimum spanning tree (MST)}}<br />
### {{level|Boruvka's akgorithm}}<br />
### {{level|Kruskal's algorithm}}<br />
### {{level|Prim's algorithm}}<br />
### {{level|GHS algorithm}}<br />
## {{level|Search for isomorphic subgraphs}}<br />
### {{level|Ullman's algorithm}}<br />
### {{level|VF2 algorithm}}<br />
## {{level|Graph connectivity}}<br />
### {{level|Shiloach-Vishkin algorithm for finding the connected components}}<br />
### {{level|Disjoint set union}}<br />
### {{level|Tarjan's strongly connected components algorithm}}<br />
### {{level|DCSC algorithm for finding the strongly connected components}}<br />
### {{level|Tarjan's biconnected components algorithm}}<br />
### {{level|Tarjan-Vishkin biconnected components algorithm}}<br />
### {{level|Tarjan's algorithm for finding the bridges of a graph}}<br />
### {{level|Vertex connectivity of a graph}}<br />
### {{level|Gabow's edge connectivity algorithm}}<br />
## {{level|Finding maximal flow in a transportation network}}<br />
### {{level|Ford–Fulkerson algorithm}}<br />
### {{level|Preflow-Push algorithm}}<br />
## {{level|Finding minimal-cost flow in a transportation network}}<br />
## {{level|Assignment problem}}<br />
### {{level|Hungarian algorithm}}<br />
### {{level|Auction algorithm}}<br />
### {{level|Hopcroft–Karp algorithm}}<br />
## {{level|Betweenness centrality algorithm|Finding the betweenness centrality of vertices}}<br />
# <div id="Алгоритмы поиска">'''Search algorithms'''</div><br />
## {{level|Binary search: Finding the position of a target value within a sorted array}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Sorting algorithms'''</div><br />
## {{level|Binary tree sort}}<br />
## {{level|Bubble sort}}<br />
## {{level|Merge sort (serial and parallel variants)}}<br />
# <div id="Вычислительная геометрия">'''Computational geometry'''</div><br />
## {{level|Finding the diameter of a point set}}<br />
## {{level|Finding the convex hull of a point set}}<br />
## {{level|Delaunay triangulation}}<br />
## {{level|Voronoi diagram}}<br />
## {{level|Point-in-polygon problem}}<br />
## {{level|Convex polygon intersection}} - complexity <math>O(n_1 + n_2)</math><br />
## {{level|Star-shaped polygon intersection}} - complexity <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3437Algorithm classification2016-04-09T12:47:35Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Single source shortest path (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|All pairs shortest path (APSP)}}<br />
### {{level|Johnson's algorithm}}<br />
### {{level|Floyd-Warshall algorithm}}<br />
## {{level|Transitive closure of a directed graph}}<br />
### {{level|Purdom's algorithm}}<br />
## {{level|Longest shortest path}}<br />
## {{level|Construction of the minimum spanning tree (MST)}}<br />
### {{level|Boruvka's akgorithm}}<br />
### {{level|Kruskal's algorithm}}<br />
### {{level|Prim's algorithm}}<br />
### {{level|GHS algorithm}}<br />
## {{level|Search for isomorphic subgraphs}}<br />
### {{level|Ullman's algorithm}}<br />
### {{level|VF2 algorithm}}<br />
## {{level|Graph connectivity}}<br />
### {{level|Shiloach-Vishkin algorithm for finding the connected components}}<br />
### {{level|Disjoint set union}}<br />
### {{level|Tarjan's strongly connected components algorithm}}<br />
### {{level|DCSC algorithm for finding the strongly connected components}}<br />
### {{level|Tarjan's biconnected components algorithm}}<br />
### {{level|Tarjan-Vishkin biconnected components algorithm}}<br />
### {{level|Tarjan's algorithm for finding the bridges of a graph}}<br />
### {{level|Vertex connectivity of a graph}}<br />
### {{level|Gabow's edge connectivity algorithm}}<br />
## {{level|Finding maximal flow in a transportation network}}<br />
### {{level|Ford–Fulkerson algorithm}}<br />
### {{level|Preflow-Push algorithm}}<br />
## {{level|Finding minimal-cost flow in a transportation network}}<br />
## {{level|Assignment problem}}<br />
### {{level|Hungarian algorithm}}<br />
### {{level|Auction algorithm}}<br />
### {{level|Hopcroft–Karp algorithm}}<br />
## {{level|Betweenness centrality algorithm|Finding the betweenness centrality of vertices}}<br />
# <div id="Алгоритмы поиска">'''Search algorithms'''</div><br />
## {{level|Binary search: Finding the position of a target value within a sorted array}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Sorting algorithms'''</div><br />
## {{level|Binary tree sort}}<br />
## {{level|Bubble sort}}<br />
## {{level|Merge sort (serial and parallel variants)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3436Algorithm classification2016-04-09T12:23:46Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Single source shortest path (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|All pairs shortest path (APSP)}}<br />
### {{level|Johnson's algorithm}}<br />
### {{level|Floyd-Warshall algorithm}}<br />
## {{level|Transitive closure of a directed graph}}<br />
### {{level|Purdom's algorithm}}<br />
## {{level|Longest shortest path}}<br />
## {{level|Construction of the minimum spanning tree (MST)}}<br />
### {{level|Boruvka's akgorithm}}<br />
### {{level|Kruskal's algorithm}}<br />
### {{level|Prim's algorithm}}<br />
### {{level|GHS algorithm}}<br />
## {{level|Search for isomorphic subgraphs}}<br />
### {{level|Ullman's algorithm}}<br />
### {{level|VF2 algorithm}}<br />
## {{level|Graph connectivity}}<br />
### {{level|Shiloach-Vishkin algorithm for finding the connected components}}<br />
### {{level|Disjoint set union}}<br />
### {{level|Tarjan's strongly connected components algorithm}}<br />
### {{level|DCSC algorithm for finding the strongly connected components}}<br />
### {{level|Tarjan's biconnected components algorithm}}<br />
### {{level|Tarjan-Vishkin biconnected components algorithm}}<br />
### {{level|Tarjan's algorithm for finding the bridges of a graph}}<br />
### {{level|Vertex connectivity of a graph}}<br />
### {{level|Gabow's edge connectivity algorithm}}<br />
## {{level|Finding maximal flow in a transportation network}}<br />
### {{level|Ford–Fulkerson algorithm}}<br />
### {{level|Preflow-Push algorithm}}<br />
## {{level|Finding minimal-cost flow in a transportation network}}<br />
## {{level|Assignment problem}}<br />
### {{level|Hungarian algorithm}}<br />
### {{level|Auction algorithm}}<br />
### {{level|Hopcroft–Karp algorithm}}<br />
## {{level|Betweenness centrality algorithm|Finding the betweenness centrality of vertices}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3435Algorithm classification2016-04-09T11:27:51Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Single source shortest path (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|All pairs shortest path (APSP)}}<br />
### {{level|Johnson's algorithm}}<br />
### {{level|Floyd-Warshall algorithm}}<br />
## {{level|Transitive closure of a directed graph}}<br />
### {{level|Purdom's algorithm}}<br />
## {{level|Longest shortest path}}<br />
## {{level|Construction of the minimum spanning tree (MST)}}<br />
### {{level|Boruvka's akgorithm}}<br />
### {{level|Kruskal's algorithm}}<br />
### {{level|Prim's algorithm}}<br />
### {{level|GHS algorithm}}<br />
## {{level|Search for isomorphic subgraphs}}<br />
### {{level|Ullman's algorithm}}<br />
### {{level|VF2 algorithm}}<br />
## {{level|Graph connectivity}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3434Algorithm classification2016-04-09T11:13:59Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Single source shortest path (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|All pairs shortest path (APSP)}}<br />
### {{level|Johnson's algorithm}}<br />
### {{level|Floyd-Warshall algorithm}}<br />
## {{level|Transitive closure of a directed graph}}<br />
### {{level|Purdom's algorithm}}<br />
## {{level|Longest shortest path}}<br />
## {{level|Construction of the minimum spanning tree (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3433Algorithm classification2016-04-09T10:52:00Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Graph algorithms'''</div><br />
## Traversing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Search for a shortest path from a vertex (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Δ-stepping algorithm}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3432Algorithm classification2016-04-08T20:36:45Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rule}}<br />
# <div id="Алгоритмы на графах">'''Algorithms on graphs'''</div><br />
## Bypassing a graph <br />
### {{level|Breadth-first search (BFS)}}<br />
### {{level|Depth-first search (DFS)}}<br />
## {{level|Search for a shortest path from a vertex (SSSP)}}<br />
### {{level|Breadth-first search (BFS)}} (for unweighted graphs)<br />
### {{level|Dijkstra's algorithm}}<br />
### {{level|Bellman-Ford algorithm}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3431Algorithm classification2016-04-08T20:04:08Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss rules}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3430Algorithm classification2016-04-08T19:54:16Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Rectangle rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Trapezoid rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description |Simpson rule}}<br />
### {{level|Numerical quadrature (cubature) rules on an interval (for a multidimensional cube)#Mathematical description|Gauss }}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3429Algorithm classification2016-04-08T19:24:45Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Fast Fourier transform for powers of two}}<br />
# <div id="Алгебра многочленов">'''Algebra of polynomials'''</div><br />
## {{level|Horner's rule: Real version, serial variant|Horner's rule}}<br />
# <div id="Численные методы интегрирования">'''Numerical quadrature'''</div><br />
## {{level|Cubature rules}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3428Algorithm classification2016-04-08T19:19:45Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Fourier transform'''</div><br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div><br />
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}<br />
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div><br />
## {{level|Квадратурные формулы}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3427Algorithm classification2016-04-08T15:52:19Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for matrices of special form}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving block SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Two-sided Thomas algorithm, block variant}}<br />
###### {{level|Block cyclic reduction}}<br />
###### {{level|Block bordering method}}<br />
### {{level|Solving SLAEs with coefficient matrices of special form whose inverses are known}}<br />
## Iterative methods for solving SLAEs <br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Solving eigenvalue problems'''</div><br />
## {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|QR algorithm}}<br />
### {{level|Givens method (rotation method) for solving the symmetric eigenvalue problem}}<br />
## {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Тесты производительности компьютеров">'''Computer performance tests'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Преобразование Фурье'''</div><br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div><br />
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}<br />
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div><br />
## {{level|Квадратурные формулы}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3426Algorithm classification2016-04-08T15:27:44Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for special matrices}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving tridiagonal SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Complete cyclic reduction}}<br />
####### {{level|Cyclic reduction repeated for a new right-hand side}}<br />
###### {{level|Bordering method}}<br />
#### Methods for solving block triangular SLAEs <br />
##### {{level|Block forward substitution (real version)|Block forward substitution}}<br />
##### {{level|Block backward substitution (real version))|Block backward substitution}}<br />
##### Methods for solving block bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for block bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving block bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the block backward substitution for solving block bidiagonal SLAEs}}<br />
#### {{level|Methods for solving block tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Block Thomas algorithm}}<br />
###### {{level|Serial-parallel method for solving triangular SLAEs based on the LU decomposition and backward substitutions Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Встречная прогонка, блочный вариант}}<br />
###### {{level|Блочный метод циклической редукции}}<br />
###### {{level|Блочный метод окаймления}}<br />
### {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
## Итерационные методы решения СЛАУ<br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Решения спектральных задач'''</div><br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|QR-алгоритм}}<br />
### {{level|Метод Гивенса (вращений) для решения спектральной задачи у симметричных матриц}}<br />
## {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Тесты производительности компьютеров">'''Тесты производительности компьютеров'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Преобразование Фурье'''</div><br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div><br />
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}<br />
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div><br />
## {{level|Квадратурные формулы}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3425Algorithm classification2016-04-08T14:52:53Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for special matrices}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs of special forms <br />
#### Methods for solving triangular SLAEs <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving bidiagonal SLAEs <br />
###### {{level|Forward and backward substitution for bidiagonal SLAEs}}<br />
###### {{level|Stone doubling algorithm for solving bidiagonal SLAEs}}<br />
###### {{level|Serial-parallel variant of the backward substitution}}<br />
#### {{level|Methods for solving tridiagonal SLAEs}}<br />
##### Methods based on the conventional LU decomposition <br />
###### {{level|Thomas algorithm}}<br />
####### {{level|Thomas algorithm, pointwise version|Classical monotone elimination algorithm}}<br />
####### {{level|Repeated Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Classical scheme}}<br />
###### {{level|Stone doubling algorithm}}<br />
###### {{level|Serial-parallel method for solving triangular SLAEs based on the LU decomposition and backward substitutions}}<br />
##### Other methods <br />
###### {{level|Reduction method}}<br />
####### {{level|Complete reduction method}}<br />
####### {{level|Reduction method repeated for a new right-hand side}}<br />
###### Two-sided Thomas algorithm <br />
####### {{level|Two-sided Thomas algorithm, pointwise version|Classical two-sided scheme}}<br />
####### {{level|Repeated two-sided Thomas algorithm, pointwise version|Thomas algorithm repeated for a new right-hand side: Two-sided scheme }}<br />
###### {{level|Cyclic reduction}}<br />
####### {{level|Полный метод циклической редукции}}<br />
####### {{level|Повторный метод циклической редукции для новой правой части}}<br />
###### {{level|Метод окаймления}}<br />
#### Методы решения СЛАУ с блочно-треугольными матрицами<br />
##### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
##### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
##### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
###### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
###### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
#### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Блочная прогонка}}<br />
###### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Встречная прогонка, блочный вариант}}<br />
###### {{level|Блочный метод циклической редукции}}<br />
###### {{level|Блочный метод окаймления}}<br />
### {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
## Итерационные методы решения СЛАУ<br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Решения спектральных задач'''</div><br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|QR-алгоритм}}<br />
### {{level|Метод Гивенса (вращений) для решения спектральной задачи у симметричных матриц}}<br />
## {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Тесты производительности компьютеров">'''Тесты производительности компьютеров'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Преобразование Фурье'''</div><br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div><br />
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}<br />
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div><br />
## {{level|Квадратурные формулы}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3424Algorithm classification2016-04-08T13:37:06Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}}: Basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for special matrices}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs with coefficient matrices of a special form <br />
#### Methods for solving SLAEs with triangular coefficient matrices <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving SLAEs with bidiagonal coefficient matrices <br />
###### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения двухдиагональных СЛАУ}}<br />
###### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
#### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Прогонка}}<br />
####### {{level|Прогонка, точечный вариант|Классическая монотонная прогонка}}<br />
####### {{level|Повторная прогонка, точечный вариант|Повторная прогонка для новой правой части, классическая схема}}<br />
###### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Метод редукции}}<br />
####### {{level|Полный метод редукции}}<br />
####### {{level|Повторный метод редукции для новой правой части}}<br />
###### Встречная прогонка<br />
####### {{level|Встречная прогонка, точечный вариант|Классическая встречная прогонка}}<br />
####### {{level|Повторная встречная прогонка, точечный вариант|Повторная прогонка для новой правой части, встречная схема}}<br />
###### {{level|Метод циклической редукции}}<br />
####### {{level|Полный метод циклической редукции}}<br />
####### {{level|Повторный метод циклической редукции для новой правой части}}<br />
###### {{level|Метод окаймления}}<br />
#### Методы решения СЛАУ с блочно-треугольными матрицами<br />
##### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
##### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
##### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
###### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
###### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
#### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Блочная прогонка}}<br />
###### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Встречная прогонка, блочный вариант}}<br />
###### {{level|Блочный метод циклической редукции}}<br />
###### {{level|Блочный метод окаймления}}<br />
### {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
## Итерационные методы решения СЛАУ<br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Решения спектральных задач'''</div><br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|QR-алгоритм}}<br />
### {{level|Метод Гивенса (вращений) для решения спектральной задачи у симметричных матриц}}<br />
## {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Тесты производительности компьютеров">'''Тесты производительности компьютеров'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Преобразование Фурье'''</div><br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div><br />
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}<br />
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div><br />
## {{level|Квадратурные формулы}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3423Algorithm classification2016-04-08T13:31:31Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}} basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for special matrices}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Householder method (reflection method) for the QR-decomposition of a matrix}}<br />
## ''Unitary Hessenberg decompositions''<br />
### {{level|Householder method (reflection method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
### {{level|Givens method (rotation method) for reducing a matrix to Hessenberg (bidiagonal) form}}<br />
## ''Unitary-diagonal decompositions''<br />
### {{level|Eigenvalue decomposition (finding eigenvalues and eigenvectors)}}<br />
### {{level|Singular value decomposition (finding singular values and singular vectors)}}<br />
# <div id="Решение систем линейных уравнений">'''Solving systems of linear algebraic equations (SLAEs)'''</div><br />
## Direct methods for solving SLAEs <br />
### {{level|Linpack benchmark}}<br />
### Methods for solving SLAEs with coefficient matrices of a special form <br />
#### Methods for solving SLAEs with triangular coefficient matrices <br />
##### {{level|Forward substitution (real version)|Forward substitution}}<br />
##### {{level|Backward substitution (real version)|Backward substitution}}<br />
##### Methods for solving SLAEs with bidiagonal coefficient matrices <br />
###### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения двухдиагональных СЛАУ}}<br />
###### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
#### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Прогонка}}<br />
####### {{level|Прогонка, точечный вариант|Классическая монотонная прогонка}}<br />
####### {{level|Повторная прогонка, точечный вариант|Повторная прогонка для новой правой части, классическая схема}}<br />
###### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Метод редукции}}<br />
####### {{level|Полный метод редукции}}<br />
####### {{level|Повторный метод редукции для новой правой части}}<br />
###### Встречная прогонка<br />
####### {{level|Встречная прогонка, точечный вариант|Классическая встречная прогонка}}<br />
####### {{level|Повторная встречная прогонка, точечный вариант|Повторная прогонка для новой правой части, встречная схема}}<br />
###### {{level|Метод циклической редукции}}<br />
####### {{level|Полный метод циклической редукции}}<br />
####### {{level|Повторный метод циклической редукции для новой правой части}}<br />
###### {{level|Метод окаймления}}<br />
#### Методы решения СЛАУ с блочно-треугольными матрицами<br />
##### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
##### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
##### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
###### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
###### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
#### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Блочная прогонка}}<br />
###### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Встречная прогонка, блочный вариант}}<br />
###### {{level|Блочный метод циклической редукции}}<br />
###### {{level|Блочный метод окаймления}}<br />
### {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
## Итерационные методы решения СЛАУ<br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Решения спектральных задач'''</div><br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|QR-алгоритм}}<br />
### {{level|Метод Гивенса (вращений) для решения спектральной задачи у симметричных матриц}}<br />
## {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Тесты производительности компьютеров">'''Тесты производительности компьютеров'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Преобразование Фурье'''</div><br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div><br />
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}<br />
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div><br />
## {{level|Квадратурные формулы}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3422Algorithm classification2016-04-08T11:57:14Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix decompositions'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}} basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for special matrices}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
## ''Разложения на унитарные и хессенберговы матрицы''<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (двухдиагональной) форме}}<br />
## ''Разложения на унитарные и диагональные матрицы''<br />
### {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Решение систем линейных уравнений">'''Решение систем линейных уравнений'''</div><br />
## Прямые методы решения СЛАУ<br />
### {{level|Linpack benchmark}}<br />
### Методы решения СЛАУ с матрицами специального вида<br />
#### Методы решения СЛАУ с треугольными матрицами<br />
##### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
##### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
##### Методы решения СЛАУ с двухдиагональными матрицами<br />
###### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения двухдиагональных СЛАУ}}<br />
###### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
#### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Прогонка}}<br />
####### {{level|Прогонка, точечный вариант|Классическая монотонная прогонка}}<br />
####### {{level|Повторная прогонка, точечный вариант|Повторная прогонка для новой правой части, классическая схема}}<br />
###### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Метод редукции}}<br />
####### {{level|Полный метод редукции}}<br />
####### {{level|Повторный метод редукции для новой правой части}}<br />
###### Встречная прогонка<br />
####### {{level|Встречная прогонка, точечный вариант|Классическая встречная прогонка}}<br />
####### {{level|Повторная встречная прогонка, точечный вариант|Повторная прогонка для новой правой части, встречная схема}}<br />
###### {{level|Метод циклической редукции}}<br />
####### {{level|Полный метод циклической редукции}}<br />
####### {{level|Повторный метод циклической редукции для новой правой части}}<br />
###### {{level|Метод окаймления}}<br />
#### Методы решения СЛАУ с блочно-треугольными матрицами<br />
##### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
##### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
##### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
###### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
###### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
#### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Блочная прогонка}}<br />
###### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Встречная прогонка, блочный вариант}}<br />
###### {{level|Блочный метод циклической редукции}}<br />
###### {{level|Блочный метод окаймления}}<br />
### {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
## Итерационные методы решения СЛАУ<br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Решения спектральных задач'''</div><br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|QR-алгоритм}}<br />
### {{level|Метод Гивенса (вращений) для решения спектральной задачи у симметричных матриц}}<br />
## {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Тесты производительности компьютеров">'''Тесты производительности компьютеров'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Преобразование Фурье'''</div><br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div><br />
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}<br />
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div><br />
## {{level|Квадратурные формулы}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3421Algorithm classification2016-04-08T11:56:29Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix factorizations'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Gaussian elimination with diagonal pivoting <br />
##### Gaussian elimination with complete pivoting <br />
### {{level|Cholesky method (finding the symmetric triangular decomposition)}}<br />
#### {{level|Cholesky decomposition (square root method)}} basic pointwise real variant, dense symmetric positive definite matrix <br />
### {{level|Available triangular decompositions for special matrices}}<br />
## ''Unitary-triangular decompositions''<br />
### {{level|Givens method (rotation method) for the QR-decomposition of a matrix}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
## ''Разложения на унитарные и хессенберговы матрицы''<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (двухдиагональной) форме}}<br />
## ''Разложения на унитарные и диагональные матрицы''<br />
### {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Решение систем линейных уравнений">'''Решение систем линейных уравнений'''</div><br />
## Прямые методы решения СЛАУ<br />
### {{level|Linpack benchmark}}<br />
### Методы решения СЛАУ с матрицами специального вида<br />
#### Методы решения СЛАУ с треугольными матрицами<br />
##### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
##### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
##### Методы решения СЛАУ с двухдиагональными матрицами<br />
###### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения двухдиагональных СЛАУ}}<br />
###### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
#### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Прогонка}}<br />
####### {{level|Прогонка, точечный вариант|Классическая монотонная прогонка}}<br />
####### {{level|Повторная прогонка, точечный вариант|Повторная прогонка для новой правой части, классическая схема}}<br />
###### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Метод редукции}}<br />
####### {{level|Полный метод редукции}}<br />
####### {{level|Повторный метод редукции для новой правой части}}<br />
###### Встречная прогонка<br />
####### {{level|Встречная прогонка, точечный вариант|Классическая встречная прогонка}}<br />
####### {{level|Повторная встречная прогонка, точечный вариант|Повторная прогонка для новой правой части, встречная схема}}<br />
###### {{level|Метод циклической редукции}}<br />
####### {{level|Полный метод циклической редукции}}<br />
####### {{level|Повторный метод циклической редукции для новой правой части}}<br />
###### {{level|Метод окаймления}}<br />
#### Методы решения СЛАУ с блочно-треугольными матрицами<br />
##### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
##### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
##### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
###### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
###### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
#### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Блочная прогонка}}<br />
###### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Встречная прогонка, блочный вариант}}<br />
###### {{level|Блочный метод циклической редукции}}<br />
###### {{level|Блочный метод окаймления}}<br />
### {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
## Итерационные методы решения СЛАУ<br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Решения спектральных задач'''</div><br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|QR-алгоритм}}<br />
### {{level|Метод Гивенса (вращений) для решения спектральной задачи у симметричных матриц}}<br />
## {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Тесты производительности компьютеров">'''Тесты производительности компьютеров'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Преобразование Фурье'''</div><br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div><br />
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}<br />
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div><br />
## {{level|Квадратурные формулы}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=Algorithm_classification&diff=3420Algorithm classification2016-04-08T11:35:07Z<p>Икрамов: </p>
<hr />
<div># <div id="Векторные операции">'''Vector operations'''</div><br />
## ''Pairwise summation''<br />
### {{level|Summing an array by pairwise summation}}<br />
### {{level|Finding partial sums of an array by pairwise summation}}<br />
## {{level|Uniform norm of a vector: Real version, serial-parallel variant}}<br />
## {{level|Dot product: Real version, serial-parallel variant}}<br />
## {{level|Serial-parallel summation method}}<br />
# <div id="Матрично-векторные операции">'''Matrix-vector operations'''</div><br />
## {{level|Dense matrix-vector multiplication}}<br />
# <div id="Матричные операции">'''Matrix operations'''</div><br />
## {{level|Dense matrix multiplication}}<br />
# <div id="Разложения матриц">'''Matrix factorizations'''</div><br />
## ''Triangular decompositions''<br />
### Gaussian elimination (finding the LU decomposition)<br />
#### {{level|Gaussian elimination without pivoting}}<br />
##### LU decomposition via Gaussian elimination <br />
##### Compact scheme for Gaussian elimination and its modifications <br />
###### Compact scheme for Gaussian elimination: Dense matrix <br />
###### {{level|Compact scheme for Gaussian elimination and its modifications: Tridiagonal matrix}}<br />
####### {{level|Compact scheme for Gaussian elimination: Tridiagonal matrix, serial variant}}<br />
####### {{level|Stone doubling algorithm for the LU decomposition of a tridiagonal matrix}}<br />
####### {{level|Serial-parallel algorithm for the LU decomposition of a tridiagonal matrix}}<br />
#### Gaussian elimination with pivoting <br />
##### Gaussian elimination with column pivoting <br />
##### Gaussian elimination with row pivoting <br />
##### Метод Гаусса с выбором ведущего элемента по главной диагонали<br />
##### Метод Гаусса с выбором ведущего элемента по всей матрице<br />
### {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}<br />
#### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы<br />
### {{level|Известные треугольные разложения для матриц специального вида}}<br />
## ''Унитарно-треугольные разложения''<br />
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}<br />
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}<br />
## ''Разложения на унитарные и хессенберговы матрицы''<br />
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме}}<br />
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (двухдиагональной) форме}}<br />
## ''Разложения на унитарные и диагональные матрицы''<br />
### {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Решение систем линейных уравнений">'''Решение систем линейных уравнений'''</div><br />
## Прямые методы решения СЛАУ<br />
### {{level|Linpack benchmark}}<br />
### Методы решения СЛАУ с матрицами специального вида<br />
#### Методы решения СЛАУ с треугольными матрицами<br />
##### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}<br />
##### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}<br />
##### Методы решения СЛАУ с двухдиагональными матрицами<br />
###### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения двухдиагональных СЛАУ}}<br />
###### {{level|Последовательно-параллельный вариант обратной подстановки}}<br />
#### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Прогонка}}<br />
####### {{level|Прогонка, точечный вариант|Классическая монотонная прогонка}}<br />
####### {{level|Повторная прогонка, точечный вариант|Повторная прогонка для новой правой части, классическая схема}}<br />
###### {{level|Метод сдваивания Стоуна}}<br />
###### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Метод редукции}}<br />
####### {{level|Полный метод редукции}}<br />
####### {{level|Повторный метод редукции для новой правой части}}<br />
###### Встречная прогонка<br />
####### {{level|Встречная прогонка, точечный вариант|Классическая встречная прогонка}}<br />
####### {{level|Повторная встречная прогонка, точечный вариант|Повторная прогонка для новой правой части, встречная схема}}<br />
###### {{level|Метод циклической редукции}}<br />
####### {{level|Полный метод циклической редукции}}<br />
####### {{level|Повторный метод циклической редукции для новой правой части}}<br />
###### {{level|Метод окаймления}}<br />
#### Методы решения СЛАУ с блочно-треугольными матрицами<br />
##### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}<br />
##### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}<br />
##### Методы решения СЛАУ с блочно-двухдиагональными матрицами<br />
###### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}<br />
###### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}<br />
###### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}<br />
#### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}<br />
##### Методы, основанные на стандартном LU-разложении матрицы<br />
###### {{level|Блочная прогонка}}<br />
###### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}<br />
##### Другие методы<br />
###### {{level|Встречная прогонка, блочный вариант}}<br />
###### {{level|Блочный метод циклической редукции}}<br />
###### {{level|Блочный метод окаймления}}<br />
### {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}<br />
## Итерационные методы решения СЛАУ<br />
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
# <div id="Решения спектральных задач">'''Решения спектральных задач'''</div><br />
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}<br />
### {{level|QR-алгоритм}}<br />
### {{level|Метод Гивенса (вращений) для решения спектральной задачи у симметричных матриц}}<br />
## {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}<br />
# <div id="Тесты производительности компьютеров">'''Тесты производительности компьютеров'''</div><br />
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}<br />
## {{level|Linpack benchmark}}<br />
# <div id="Преобразование Фурье">'''Преобразование Фурье'''</div><br />
## {{level|Быстрое преобразование Фурье для степеней двойки}}<br />
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div><br />
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}<br />
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div><br />
## {{level|Квадратурные формулы}}<br />
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}<br />
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}<br />
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div><br />
## Обход графа<br />
### {{level|Поиск в ширину (BFS)}}<br />
### {{level|Поиск в глубину (DFS)}}<br />
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}<br />
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)<br />
### {{level|Алгоритм Дейкстры}}<br />
### {{level|Алгоритм Беллмана-Форда}}<br />
### {{level|Алгоритм Δ-шагания}}<br />
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}<br />
### {{level|Алгоритм Джонсона}}<br />
### {{level|Алгоритм Флойда-Уоршелла}}<br />
## {{level|Поиск транзитивного замыкания орграфа}}<br />
### {{level|Алгоритм Пурдома}}<br />
## {{level|Определение диаметра графа}}<br />
## {{level|Построение минимального остовного дерева (MST)}}<br />
### {{level|Алгоритм Борувки}}<br />
### {{level|Алгоритм Крускала}}<br />
### {{level|Алгоритм Прима}}<br />
### {{level|Алгоритм GHS}}<br />
## {{level|Поиск изоморфных подграфов}}<br />
### {{level|Алгоритм Ульмана}}<br />
### {{level|Алгоритм VF2}}<br />
## {{level|Связность в графах}}<br />
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}<br />
### {{level|Система непересекающихся множеств}}<br />
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}<br />
### {{level|Алгоритм DCSC поиска компонент сильной связности}}<br />
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}<br />
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}<br />
### {{level|Определение вершинной связности графа}}<br />
### {{level|Алгоритм Габова определения рёберной связности графа}}<br />
## {{level|Поиск максимального потока в транспортной сети}}<br />
### {{level|Алгоритм Форда-Фалкерсона}}<br />
### {{level|Алгоритм проталкивания предпотока}}<br />
## {{level|Поиск потока минимальной стоимости в транспортной сети}}<br />
## {{level|Задача о назначениях}}<br />
### {{level|Венгерский алгоритм}}<br />
### {{level|Алгоритм аукциона}}<br />
### {{level|Алгоритм Гопкрофта-Карпа}}<br />
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}<br />
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div><br />
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math><br />
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div><br />
## {{level|Сортировка с помощью двоичного дерева}}<br />
## {{level|Сортировка пузырьком}}<br />
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}<br />
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div><br />
## {{level|Поиск диаметра множества точек}}<br />
## {{level|Построение выпуклой оболочки набора точек}}<br />
## {{level|Триангуляция Делоне}}<br />
## {{level|Диаграмма Вороного}}<br />
## {{level|Принадлежность точки многоугольнику}}<br />
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math><br />
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math><br />
# <div id="Компьютерная графика">'''Компьютерная графика'''</div><br />
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}<br />
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}<br />
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}<br />
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}<br />
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div><br />
# <div id="Нейронные сети">'''Нейронные сети'''</div><br />
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div><br />
## {{level|Линейное программирование}}<br />
## {{level|Симплекс-метод}}<br />
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}<br />
## {{level|Генетические алгоритмы}}<br />
## {{level|Муравьиные алгоритмы}}<br />
## {{level|Комбинированные алгоритмы}}<br />
## {{level|Нахождение экстремума функции}}<br />
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div><br />
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div><br />
## ''Алгоритмы моделирования квантовых вычислений''<br />
### {{level|Однокубитное преобразование вектора-состояния}}<br />
### {{level|Двухкубитное преобразование вектора-состояния}}<br />
### {{level|Моделирование квантового преобразования Фурье}}<br />
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div><br />
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}<br />
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div></div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3355Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-07T15:42:42Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма убывает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации === <br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера области.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласуется с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3345Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-06T17:44:23Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма убывает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации === <br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера области.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3344Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-06T17:30:51Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма убывает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации === <br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3343Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-06T10:11:07Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма убывает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3331Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-04T16:45:46Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма убывает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому в данном случае можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3324Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-04T13:02:26Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма падает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому в данном случае можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3323Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-04T13:01:34Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства, целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма падает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому в данном случае можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3321Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-04T12:39:20Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Целочисленные индексы для краткости записи перенумерованы от <math>0,...,N-1</math> до <math>1,...,N</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма падает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому в данном случае можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3320Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-04T12:34:42Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Целочисленные индексы для краткости записи перенумерованы от <math>0,...,N-1</math> до <math>1,...,N</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма падает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому в данном случае можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3319Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-04T12:31:00Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма === <br />
<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из 6 этапов алгоритма осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Целочисленные индексы для краткости записи перенумерованы от <math>0,...,N-1</math> до <math>1,...,N</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма падает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому в данном случае можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3314Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-04T08:42:25Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из 6 этапов алгоритма осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Целочисленные индексы для краткости записи перенумерованы от <math>0,...,N-1</math> до <math>1,...,N</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма падает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому в данном случае можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3313Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-04T07:52:42Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дисретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из 6 этапов алгоритма осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Целочисленные индексы для краткости записи перенумерованы от <math>0,...,N-1</math> до <math>1,...,N</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма падает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому в данном случае можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with the DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0,_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%BC_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%D0%BC_%D0%A4%D1%83%D1%80%D1%8C%D0%B5&diff=3312Уравнение Пуассона, решение дискретным преобразованием Фурье2016-02-03T20:00:53Z<p>Икрамов: </p>
<hr />
<div>Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
Уравнение Пуассона для многомерного пространства имеет вид:<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,<br />
</math><br />
<br />
где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:<br />
<br />
<math><br />
B(\phi)=F, \mathbf{x} \in \Gamma(D),<br />
</math><br />
<br />
где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.<br />
<br />
Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.<br />
<br />
Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид<br />
<br />
<math><br />
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N. <br />
</math><br />
<br />
Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.<br />
<br />
=== Математическое описание алгоритма ===<br />
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:<br />
<br />
<math><br />
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,<br />
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,<br />
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,<br />
</math><br />
<br />
где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия<br />
<br />
<math><br />
\begin{align}<br />
\phi_{0,j,k} &= \phi_{N_x,j,k},\\<br />
\phi_{i,0,k} &= \phi_{i,N_y,k},\\<br />
\phi_{i,j,0} &= \phi_{i,j,N_z}.<br />
\end{align}<br />
</math><br />
<br />
Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i} <br />
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.<br />
</math><br />
<br />
Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дисретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:<br />
<br />
<math><br />
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},<br />
</math><br />
<br />
где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как<br />
<br />
<math><br />
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)} <br />
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}<br />
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],<br />
</math><br />
<br />
откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.<br />
<br />
=== Макроструктура алгоритма ===<br />
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
Введем для краткости следующие обозначения сеточных функций:<br />
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.<br />
Тогда алгоритм запишется следующим образом:<br />
# Вычисление <math>\text{FFT}_x(f_h)</math><br />
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math><br />
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math><br />
# Расчет <math>\Phi_h</math> по <math>F_h</math><br />
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math><br />
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math><br />
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math><br />
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из 6 этапов алгоритма осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.<br />
<br />
=== Информационный граф ===<br />
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.<br />
<br />
[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Целочисленные индексы для краткости записи перенумерованы от <math>0,...,N-1</math> до <math>1,...,N</math>]]<br />
<br />
Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.<br />
<br />
=== Ресурс параллелизма алгоритма ===<br />
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма падает быстрее, чем <math>N^2</math>.<br />
<br />
Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).<br />
<br />
== Программная реализация алгоритма ==<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW]. <br />
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5). <br />
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):<br />
<source lang="fortran"><br />
! x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)<br />
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )<br />
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )<br />
enddo<br />
enddo<br />
! y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)<br />
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )<br />
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )<br />
enddo<br />
enddo<br />
! z - transform and dividing by eigenvalue<br />
do j = 1, j1<br />
do i = 1, i1<br />
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)<br />
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )<br />
! Dividing by eigenvalue of Laplace operator<br />
sinx = sin((i-1) * Pi / i1)^2 * 4<br />
siny = sin((j-1) * Pi / j1)^2 * 4<br />
do k = 1, k1<br />
sinz = sin((k-1) * Pi / k1)^2 * 4<br />
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)<br />
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)<br />
enddo<br />
enddo<br />
enddo<br />
</source><br />
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:<br />
<br />
<source lang="fortran"><br />
! inverse x - transform<br />
do k = 1, k1<br />
do j = 1, j1<br />
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))<br />
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)<br />
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)<br />
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)<br />
enddo<br />
enddo<br />
! inverse y - transform<br />
do k = 1, k1<br />
do i = 1, i1<br />
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))<br />
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)<br />
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)<br />
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)<br />
enddo<br />
enddo<br />
! inverse z - transform<br />
do j = 1, j1<br />
do i = 1, i1<br />
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))<br />
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)<br />
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )<br />
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )<br />
enddo<br />
enddo<br />
</source><br />
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.<br />
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью. <br />
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей<br />
заданное множество одномерных БПФ.<br />
<br />
Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.<br />
<br />
Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).<br />
<br />
Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.<br />
<br />
=== Локальность данных и вычислений ===<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:poisson_1.png|thumb|center|700px|Рисунок 3. Уравнение Пуассона, решение дискретным преобразованием Фурье. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации уравнения Пуассона, решение дискретным преобразованием Фурье. Данный профиль состоит из обращений к нескольким служебным массивам (фрагмент 1) и основному массиву (франмент 2). Видно, что профиль делится на два практически одинаковых этапа (вертикальная желтая линия). В целом можно отметить, что общее количество элементов невелико (чуть более 1000 элементов), при этом профиль составляет около 100 тысяч обращений. При этом видно, что в верхней части профиля плотность обращений выше, что говорит, вероятно, о высокой локальности вычислений; однако обращения к основному массиву достаточно разрознены. Перейдем к более детальному рассмотрению локальности.<br />
<br />
На рис. 4 представлен фрагмент 1, на котором расположены все обращения к служебным массивам. Исходя только из данного графика, нельзя сказать, какова структура обращения внутри блоков, однако в данном случае это и не требуется. Общее число задействованных адресов мало – всего порядка 100 элементов, при этом они используются в течение всей программы. Более того, они организованы в блочную структуру, что улучшает работу с памятью. Поэтому в данном случае можно с уверенностью сказать, что локальность (как пространственная, так и временная) в данном случае очень высока.<br />
<br />
[[file:poisson_2.png|thumb|center|700px|Рисунок 4. Профиль обращений, фрагмент 1]]<br />
<br />
Перейдем к рассмотрению основного массива. На рис. 5 представлен фрагмент 2 от общего профиля, показанного на рис. 3. Можно сразу же отметить следующий факт. На графике представлено максимум несколько сотен обращений, а по оси Х стоит отметка более 35000. Это значит, что значительно больше обращений происходит вне этого фрагмента, а именно в служебных массивах. То есть в целом обращения к основному массиву происходят не так часто. Это подтверждается при рассмотрении исходного кода программы: данные из основного массива на самом деле только копируются в служебные массивы, где над ними выполняются преобразование Фурье, после чего они копируются обратно.<br />
<br />
Согласно этому фрагменту, зачастую используемые подряд данные расположены достаточно близко, однако они редко используются повторно. То есть данный фрагмент обладает неплохой пространственной локальностью, но достаточно низкой временной.<br />
<br />
[[file:poisson_3.png|thumb|center|700px|Рисунок 5. Профиль обращений, фрагмент 2]]<br />
<br />
Поскольку основная масса обращений происходит к служебным массивам, а также вследствие достаточно высокой локальности обращений к основному массиву, в целом можно сказать, что общий профиль обладает как высокой пространственной, так и временной локальностью.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/poisson/poisson.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рис. 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Здесь мы можем наблюдать несколько неожиданный результат – производительность работы с памятью достаточно низкая, несмотря на предполагаемую высокую локальность. <br />
<br />
По всей видимости, причин несколько. Во-первых, постоянное копирование данных из и в служебные массивы портит как пространственную, так и временную локальность. Во-вторых, в служебных массивах над данными выполняется [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9A%D1%83%D0%BB%D0%B8-%D0%A2%D1%8C%D1%8E%D0%BA%D0%B8_%D0%B1%D1%8B%D1%81%D1%82%D1%80%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B5%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%A4%D1%83%D1%80%D1%8C%D0%B5_%D0%B4%D0%BB%D1%8F_%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B5%D0%B9_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BA%D0%B8 преобразование Фурье на основе алгоритма Кули-Тьюки], который, как видно по ссылке, показывает производительность работы с памятью, очень схожую с данной реализацией уравнения Пуассона. При этом выводы относительно локальности обращений к служебным массивам, над элементами которых выполняется преобразование Фурье, остаются верны - в случае алгоритма Кули-Тьюки локальность обращений в память также очень высока, несмотря на низкую производительность.<br />
<br />
[[file:poisson_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подгружать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рис. 7 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем, в общем случае, выше локальность). Можно увидеть, что, как и в случае алгоритма Кули-Тьюки, локальность оценивается как очень высокая. Поскольку в данной программе реализации этого алгоритма посвящена большая часть общего профиля, то и причины такого расхождения между локальностью и производительностью в данных случаях одинаковы (см. подробное рассмотрение алгоритма Кули-Тьюки).<br />
<br />
[[file:poisson_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.<br />
<br />
Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.<br />
<br />
При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:<br />
<br />
[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]<br />
<br />
Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма. <br />
<br />
Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27<br />
(2001) 1921–1936.</ref>.<br />
<br />
В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров [4 : 100] со значениями квадрата целого числа;<br />
* размер области [100x100x100 : 250x100x100] с шагом 50x100x100.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0,132%;<br />
* максимальная эффективность реализации 1,34%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Poisson perf.png|thumb|center|700px|Рисунок 8. Параллельная реализация алгоритма. Изменение производительности в зависимости от числа процессоров и размера области.]]<br />
[[file:Poisson eff.png|thumb|center|700px|Рисунок 9. Параллельная реализация алгоритма. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]<br />
<br />
Приведенные результаты хорошо качественно согласуются с оценками, приведенными в предыдущем разделе. Так, на рис.8 видно, что с ростом <math>N</math> масштабируемость алгоритма повышается - производительность алгоритма быстрее растет с ростом числа ядер. Это согласутся с уменьшением <math>\alpha</math> при увеличении <math>N</math>, хотя выражение <math>\alpha=12/(6\log_2 N+1)</math> дает значительно более слабую зависимость. В целом же, алгоритм масштабируется достаточно слабо: при максимальном из задаваемых размеров области 250х100х100 при росте числа ядер в 25 раз (от 4 до 100), производительность вычислений вырастает только в 6 раз.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
=== Существующие реализации алгоритма ===<br />
<br />
Ниже представлены известные к настоящему моменту реализации трехмерного БПФ и их основные характеристики.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Реализация<br />
! Разбиение области<br />
! Технологии распараллеливания<br />
! Обмены в MPI<br />
|-<br />
| [http://www.fftw.org/ FFTW]<br />
| 1D<br />
| MPI+OpenMP<br />
| <br />
|-<br />
| [http://www.ffte.jp/ FFTE]<br />
| 1D & 2D<br />
| MPI+OpenMP<br />
| MPI_ALLTOALL<br />
|-<br />
| [http://sdsc.github.io/p3dfft/ P3DFFT]<br />
| 1D & 2D<br />
| MPI<br />
|-<br />
| [http://docs.nvidia.com/cuda/cufft/#axzz3tAvWIMTp cuFFT]<br />
| <br />
| <br />
|-<br />
| [http://http://accfft.org/ AccFFT]<br />
| 1D & 2D<br />
| MPI, CUDA<br />
| MPI_ALLTOALL<br />
|-<br />
| [https://software.intel.com/ru-ru/node/521992 MKL FFT]<br />
| 1D<br />
| MPI<br />
|-<br />
| [https://www-user.tu-chemnitz.de/~potts/workgroup/pippig/software.php.en PFFT]<br />
| <br />
| MPI<br />
|}<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]]<br />
<br />
== Литература ==<br />
<references /><br />
<br />
[[Категория:Статьи в работе]]<br />
<br />
<br />
[[En:Poisson equation, solving with DFT]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%92%D1%81%D1%82%D1%80%D0%B5%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3286Встречная прогонка, точечный вариант2016-01-31T13:15:35Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Встречная прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-2</math><br />
| pf_height = <math>2.5n-1</math><br />
| pf_width = <math>4</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]]).<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Встречная прогонка''' - один из вариантов метода исключения неизвестных в приложении к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
'''Встречная прогонка''', как и [[Прогонка, точечный вариант|классическая монотонная]], заключается в исключении из уравнений неизвестных, однако, в отличие от монотонной, в ней исключение ведут одновременно с обоих "краёв" СЛАУ (верхнего и нижнего). В принципе, её можно считать простейшим вариантом [[Метод редукции|метода редукции]] (при m=1 и встречных направлениях монотонных прогонок).<br />
<br />
[[file:VstrProgonka.png|thumb|right|600px|Рисунок 1. Граф алгоритма встречной прогонки при n=14 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<math>m</math> здесь - номер уравнения, на котором "встречаются" две ветви прямого хода - "сверху" и "снизу". <br />
<br />
В приведенных обозначениях во встречной прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
"сверху":<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}, </math><br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1.<br />
<br />
</math><br />
<br />
и "снизу":<br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>,<br />
<br />
<math>\eta_{N} = f_{N}/c_{N}</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m.<br />
<br />
</math><br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}, \quad i = m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}, \quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
<br />
В обычно приводимых<ref name="SETKI" /> формулах встречной прогонки нет формулы для компоненты <math>y_{m-1}</math>, которая вычисляется позже в обратном ходе. Однако это удлиняет критический путь графа, откладывая вычисление <math>y_{m-1}</math> на момент, когда уже будет вычислена <math>y_{m}</math>, хотя обе компоненты могут быть вычислены одновременно почти независимо друг от друга.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно, как и в случае [[Прогонка, точечный вариант|классической монотонной прогонки]], представить состоящим из двух частей - прямого и обратного хода; однако их ширина вдвое больше, чем в монотонном случае. В прямом ходе ядро составляют две независимые последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в ядре остаются только две независимые последовательности операций умножения и сложения.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - прямой ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ. Обратный ход также может быть разложен на две макроединицы - обратный ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
[[file:VstrProgonkaInv.png|thumb|left|600px|Рисунок 2. Детальный граф алгоритма встречной прогонки с однократным вычислением обратных чисел при n=6 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>, <br />
<br />
<math>\eta_{1} = f_{N}/c_{N}</math>.<br />
<br />
2. Последовательно выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>.<br />
<br />
<br />
3. Инициализируется обратный ход:<br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>.<br />
<br />
4. Последовательно выполняются формулы обратного хода:<br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = m-1, m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}</math>, <math>\quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа (см. Рисунок 2). <br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения встречной прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n+2</math> делений,<br />
* <math>3n-2</math> сложений/вычитаний,<br />
* <math>3n-2</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности встречная прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
Информационный граф встречной прогонки представлен на рис.1. Как видно, он параллелен на прямом ходе со степенью не более 4, на обратном - со степенью не более 2. При выполнении прямого хода не только сами ветви, но и две подветви каждой из них (левая - разложение матрицы, правая - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правые подветви соответствуют обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход". Вариант с заменой делений сводится к графу, изображённому на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Обе ветви прямого хода можно выполнять одновременно, если <math>N=2m-1</math>, т.е. <math>n=2m</math>. В этом случае встречная прогонка требует последовательного выполнения следующих ярусов:<br />
<br />
* <math>m+1</math> ярусов делений (в каждом из ярусов, кроме одного, по 4 деления, в одном - 2 деления),<br />
* по <math>2m-1</math> ярусов умножений и сложений/вычитаний (в <math>m-1</math> ярусах - по 4 операции, в <math>m-1</math> - по две, в одном - три операции).<br />
<br />
Таким образом, при классификации по высоте ЯПФ встречная прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ сложность этого алгоритма равна <math>4</math>.<br />
<br />
При нечётном <math>n</math> ветви нельзя выполнить синхронно, поэтому предпочтительнее выбирать чётные размеры задач.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 4). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – тоже ''константа''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно встречная прогонка, как и монотонная, используется для решения СЛАУ с диагональным преобладанием. Тогда гарантируется устойчивость алгоритма.<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, ветви вычислений с нахождением коэффициентов можно не повторять. Тогда будет более предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от нужд вычислений, возможны как разные способы хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов), так и разные способы хранения вычисляемых коэффициентов (на месте уже использованных элементов матрицы либо отдельно).<br />
<br />
Приведем пример подпрограммы, реализующей встречную прогонку, где все элементы матрицы хранятся в одном массиве, причём соседние элементы матричной строки размещаются рядом, а вычисляемые коэффициенты --- на месте уже ненужных элементов исходной матрицы.<br />
<br />
<source lang="fortran"><br />
subroutine vprogm (a,x,N) ! N=2m-1<br />
real a(3,0:N), x(0:N)<br />
<br />
m=(N+1)/2<br />
<br />
a(2,0)=1./a(2,0)<br />
a(2,N)=1./a(2,N)<br />
<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
a(1,N)=-a(1,N)*a(2,N) ! xi N<br />
<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
x(N)=x(N)*a(2,N) ! eta N<br />
<br />
do 10 i=1,m-1<br />
<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(2,N-i)=1./(a(2,N-i)+a(3,N-i)*a(2,N-i+1))<br />
<br />
a(3,i) = -a(3,i)*a(2,i) ! alpha i+1<br />
a(1,N-i) = -a(1,N-i)*a(2,N-i) ! xi N-i<br />
<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
x(N-i)=(x(N-i)-a(3,N-i)*x(N-i+1))* a(2,N-i) ! eta N-i<br />
<br />
10 continue<br />
<br />
a(1,0)=1./(1.-a(1,m)*a(3,m-1))<br />
bb=x(m-1)<br />
ee=x(m)<br />
x(m-1)=(bb+a(3,m-1)*ee))*a(1,0) ! y m-1<br />
x(m) = (ee+a(1,m)*bb)*a(1,0) ! y m<br />
<br />
do 20 i=m+1,N<br />
x(i)=a(1,i)*x(i-1)+x(i) ! y i<br />
x(N-i)=a(3,N-i)*x(N-i+1)+x(i) ! y N-i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, что нужны операциям, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом" и "нижнем правом" "углах" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, что бы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что является даже излишней, если две основные ветви реализуются по отдельности на разных ядрах или же последовательно друг за другом <ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)"</ref>. Из-за того, что данные, необходимые для выполнения основных операций прогонки, вычисляются в непосредственно предшествующим им операциях, возможность использования суперскалярности вычислительных ядер процессоров практически сводится на нет, что резко ухудшает эффективность исполнения прогонки даже на современных однопроцессорных и одноядерных системах. Именно поэтому в примере п.2.1 обе ветви (как прямого, так и обратного хода) сведены в общий цикл. Это, однако, даёт выигрыш только по сравнению с чересчур локальной монотонной прогонкой, ибо эффективность остаётся малой.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal2_1.png|thumb|center|700px|Рисунок 3. Встречная прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации точечного варианта встречной прогонки. Данный профиль состоит из двух этапов (разделены желтой линией), на каждом из которых выполняются обращения к 4-м массивам. Обращения к разным массивам разделены зелеными горизонтальными линиями. Исходя из общего профиля, можно предположить, что на первом этапе ко всем массивам выполняются примерно одни и те же обращения, которые в каждом случае формируют два параллельно выполняемых последовательных перебора, один по возрастанию элементов массива, другой – по убыванию. <br />
<br />
На втором этапе профили для разных массивов отличаются, однако они также напоминают обычные последовательные переборы. Если это верно, то в целом данный профиль обладает высокой пространственной локальностью (обращения к соседним элементам следуют близко друг от друга) и достаточно низкой временной (повторное использование данных практически отсутствует). Рассмотрим профиль более детально и проверим, так ли это.<br />
<br />
На рис. 4 представлен выделенный зеленым фрагмент общего профиля. Здесь видно, что обращения к 4-м массивам обладают регулярной структурой, при этом действительно соседние элементы задействованы рядом. Однако сложно определить с точностью до отдельных обращений, как они устроены.<br />
<br />
<br />
[[file:tridiagonal2_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
На рис. 5 отдельно рассмотрены профили из рис. 4. При таком рассмотрении видно, что в целом все профили действительно состоят из последовательных переборов, только на каждом шаге перебора выполняется разное число обращений. В профиле на рис. 5а на каждом шаге задействован текущий и предыдущий элементы; в профиле на рис. 5б, видимо, задействован еще и следующий элемент. Профили 5в и 5г устроены чуть проще – только в одном переборе на каждом шаге выполняются два обращения.<br />
<br />
[[file:tridiagonal2_3.png|thumb|center|700px|Рисунок 5. Отдельные профили для разных массивов]]<br />
<br />
Исходя из полученной информации, можно сделать вывод, что локальность обращений даже лучше, чем мы предположили при рассмотрении общего профиля. Это связано с тем, что во многих случаях одни и те же данные используются подряд несколько раз, что повышает как пространственную, так и временную локальность.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal_other/tridiagonal_other.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). В целом значение daps для данной программы показывает достаточно высокую производительность работы с памятью, что соответствует нашим ожиданиям согласно приведенному выше описанию локальности.<br />
<br />
[[file:tridiagonal2_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рисунке 7 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Для этой программы оценка cvg очень высока, даже лучше, чем в случае теста Linpack. Здесь можно отметить довольно заметную разницу между двумя оценками, daps и cvg. Возможные причины такой разницы здесь могут быть те же, что и в случае обычной прогонки, которые описаны [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82#.D0.9B.D0.BE.D0.BA.D0.B0.D0.BB.D1.8C.D0.BD.D0.BE.D1.81.D1.82.D1.8C_.D0.B4.D0.B0.D0.BD.D0.BD.D1.8B.D1.85_.D0.B8_.D0.B2.D1.8B.D1.87.D0.B8.D1.81.D0.BB.D0.B5.D0.BD.D0.B8.D0.B9 здесь].<br />
<br />
[[file:tridiagonal2_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Встречная прогонка задумана изначально для случая, когда нужно найти только какую-то близкую к "середине" компоненту вектора решения, а остальные не нужны (решение т.н. "частичной задачи"). При появлении параллельных компьютерных устройств оказалось, что у встречной прогонки есть небольшой ресурс параллелизма и она убыстряет счёт, если её верхнюю и нижнюю ветви раскидать на 2 процессора. Однако для получения массового параллелизма встречная прогонка непригодна из-за низкой ширины своей [[Глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] (равной 4 на прямом и 2 - на обратном ходе).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой встречной прогонки, как почти непараллельного алгоритма, говорить нельзя в принципе, за исключением разве что двухпроцессорных систем. Понятие масштабируемости неприменимо, поскольку описываемый алгоритм не предполагает параллельной реализации.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.0634%;<br />
* максимальная эффективность реализации 0.0651%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Vstr perf.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Vstr eff.png|thumb|center|700px|Рисунок 9. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Мизерная эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiagonal_other/tridiagonal_other.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу существенно последовательной природы алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Встречная прогонка - метод для архитектуры классического, фон-неймановского типа. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует взять какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]] или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный метод]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм встречной прогонки настолько прост, что, в тех случаях, когда он по каким-либо причинам понадобился, большинство использующих его исследователей-прикладников просто пишут соответствующий фрагмент программы самостоятельно. Поэтому встречную прогонку в пакеты программ обычно не включают.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с небольшим уровнем параллелизма]]<br />
<br />
[[En:Two-sided elimination method, pointwise version]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9F%D0%BE%D0%B2%D1%82%D0%BE%D1%80%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3285Повторная прогонка, точечный вариант2016-01-31T12:57:03Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Повторная прогонка для нового СЛАУ с трёхдиагональной матрицей,<br /> точечный вариант<br />
| serial_complexity = <math>5n-4</math><br />
| pf_height = <math>5n-4</math><br />
| pf_width = <math>1</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]]<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
[[file:ProgonkaRep.png|thumb|right|200px|Рисунок 1. Граф алгоритма повторной прогонки при n=8 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc'''''.]]<br />
=== Общее описание алгоритма ===<br />
<br />
'''Повторная прогонка''' - часть метода [[Прогонка, точечный вариант|прогонки]] в приложении к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида<ref name="SETKI">Самарский А.А., Николаев Е.С. Методы решения сеточных уравнений. М.: Наука, 1978.</ref> <br />
<br />
{{Шаблон:Трёхдиагональная_СЛАУ_в_сеточном_виде}}<br />
<br />
для того случая, когда ранее уже была выполнена прогонка для СЛАУ с той же матрицей, но с другой правой частью. В этом случае та часть формул прогонки, что связана только с матрицей, уже предвычислена, и повторять её не надо. <br />
[[file:ProgonkaRepMul.png|thumb|left|200px|Рисунок 2. Граф алгоритма повторной прогонки с предвычислением обратных чисел при n=8 без отображения входных и выходных данных. '''m''' - умножение на предвычисленное обратное число, '''''f''''' - операция '''''a+bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
В приведённых обозначениях в повторной прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N</math>.<br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{N} = \beta_{N+1}</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = N-1, N-2, \cdots , 1, 0</math>.<br />
<br />
В литературе<ref name="SETKI" /> указывается, что данные формулы эквивалентны вычислению решений двухдиагональных систем методом обратной подстановки в условиях предвычисленного <math>LU</math>-разложения матрицы системы.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно представить из двух частей - прямого и обратного хода. В прямом ходе ядро составляют последовательности операций умножения и сложения (последних вдвое меньше). В обратном ходе в ядре тоже только последовательности умножения и сложения, но в равном количестве. <br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
Макроструктура алгоритма - совокупность прямого и обратного хода. <br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход прогонки:<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>,<br />
<br />
2. Последовательно для всех i от 1 до N-1 выполняются формулы прямого хода:<br />
<br />
:<math><br />
\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i}).<br />
</math><br />
<br />
3. Инициализируется обратный ход прогонки:<br />
<br />
:<math><br />
y_{N} = (f_{N}+a_{N}\beta_{N})/(c_{N}-a_{N}\alpha_{N})<br />
</math><br />
<br />
4. Последовательно для всех i с убыванием от N-1 до 0 выполняются формулы обратного хода:<br />
:<math><br />
y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}.<br />
</math><br />
<br />
Для быстрейшей работы повторной прогонки все деления в формулах заменяются умножением на предвычисленные обратные числа (<math>1/c_{0}</math> и <math>1/(c_{i}-a_{i}\alpha_{i})</math>.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром, с предвычислением обратных чисел) варианте требуется:<br />
<br />
* <math>2n-2</math> сложений,<br />
* <math>3n-2</math> умножений.<br />
<br />
При классификации по последовательной сложности, таким образом, повторная прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
<br />
Информационный граф прогонки без предвычисления обратных чисел изображён на рис.1. Как видно, он последователен. Левая ветвь соответствует прямому, правая - обратному ходу. По рисунку видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход".<br />
Вариант с заменой делений на умножения даёт граф, который изображён на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в параллельном варианте требуется последовательно выполнить следующие ярусы:<br />
<br />
* <math>n</math> ярусов умножений (в каждом из ярусов по одному умножению),<br />
* по <math>2n - 2</math> ярусов умножений и сложений (все ярусы - по одной операции).<br />
<br />
При классификации по высоте ЯПФ, таким образом, повторная прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ его сложность будет <math>1</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём это единица). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – тоже ''константа''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от нужд вычислений, возможны как разные способы хранения разложения матрицы СЛАУ, так и разные способы хранения вычисляемых коэффициентов.<br />
<br />
Вот пример подпрограммы, реализующей повторную прогонку, где предвычисленные коэффициенты хранятся на месте ненужных элементов матрицы. Предполагается, что уже однажды выполнена первая прогонка (см. [[Прогонка, точечный вариант#Особенности реализации последовательного алгоритма|пример из статьи о прогонке]]). <br />
<br />
<source lang="fortran"><br />
subroutine prorep (a,x,N)<br />
real a(3,0:N), x(0:N)<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
do 10 i=1,N-1<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
10 continue<br />
x(N)=(x(N)-a(1,N)*x(N-1))*a(2,N) ! y N<br />
do 20 i=N-1,0,-1<br />
x(i)=a(3,i)*x(i+1)+x(i) ! y i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, что нужны операциям, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом углу" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций использующим прогонку - организовать все вычисления так, что бы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Как видно по графу алгоритма, его практически (без видоизменений) невозможно распараллелить. Поэтому есть два способа использования повторных прогонок для параллельных вычислительных систем: либо разбивать задачу, где используются прогонки, так, чтобы их было достаточно, чтобы на каждую из повторных прогонок приходился 1 процессор (1 ядро), либо использовать вместо прогонки её параллельные заменители (метод Стоуна, циклическую редукцию, последовательно-параллельные варианты и т.п.). Естественно, будет хорошо распараллеливаться вариант, когда все правые части СЛАУ известны сразу, и когда их много. Тогда каждая повторная прогонка будет вычисляться на отдельном узле вычислительной системы.<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой повторной прогонки, как непараллельного алгоритма, говорить нельзя в принципе. Однако необходимо указать на то, что сравнение параллельных заменителей прогонки при изучении их масштабируемости должно идти не с однопроцессорными вариантами этих заменителей, а с выполнением на 1 процессоре самой повторной прогонки.<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
=== Выводы для классов архитектур ===<br />
<br />
Повторная прогонка - метод для архитектуры классического, фон-неймановского типа. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует взять какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный метод]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[En:Two-sided elimination method, pointwise version]] <br />
[[Категория:Алгоритмы с низким уровнем параллелизма]]<br />
[[Категория:Статьи в работе]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%92%D1%81%D1%82%D1%80%D0%B5%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3284Встречная прогонка, точечный вариант2016-01-31T11:05:35Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Встречная прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-2</math><br />
| pf_height = <math>2.5n-1</math><br />
| pf_width = <math>4</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]]).<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Встречная прогонка''' - один из вариантов метода исключения неизвестных в приложении к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
'''Встречная прогонка''', как и [[Прогонка, точечный вариант|классическая монотонная]], заключается в исключении из уравнений неизвестных, однако, в отличие от монотонной, в ней исключение ведут одновременно с обоих "краёв" СЛАУ (верхнего и нижнего). В принципе, её можно считать простейшим вариантом [[Метод редукции|метода редукции]] (при m=1 и встречных направлениях монотонных прогонок).<br />
<br />
[[file:VstrProgonka.png|thumb|right|600px|Рисунок 1. Граф алгоритма встречной прогонки при n=14 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<math>m</math> здесь - номер уравнения, на котором "встречаются" две ветви прямого хода - "сверху" и "снизу". <br />
<br />
В приведенных обозначениях во встречной прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
"сверху":<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}, </math><br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1.<br />
<br />
</math><br />
<br />
и "снизу":<br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>,<br />
<br />
<math>\eta_{N} = f_{N}/c_{N}</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m.<br />
<br />
</math><br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}, \quad i = m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}, \quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
<br />
В обычно приводимых<ref name="SETKI" /> формулах встречной прогонки нет формулы для компоненты <math>y_{m-1}</math>, которая вычисляется позже в обратном ходе. Однако это удлиняет критический путь графа, откладывая вычисление <math>y_{m-1}</math> на момент, когда уже будет вычислена <math>y_{m}</math>, хотя обе компоненты могут быть вычислены одновременно почти независимо друг от друга.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно, как и в случае [[Прогонка, точечный вариант|классической монотонной прогонки]], представить состоящим из двух частей - прямого и обратного хода; однако их ширина вдвое больше, чем в монотонном случае. В прямом ходе ядро составляют две независимые последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в ядре остаются только две независимые последовательности операций умножения и сложения.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - прямой ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ. Обратный ход также может быть разложен на две макроединицы - обратный ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
[[file:VstrProgonkaInv.png|thumb|left|600px|Рисунок 2. Детальный граф алгоритма встречной прогонки с однократным вычислением обратных чисел при n=6 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>, <br />
<br />
<math>\eta_{1} = f_{N}/c_{N}</math>.<br />
<br />
2. Последовательно выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>.<br />
<br />
<br />
3. Инициализируется обратный ход:<br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>.<br />
<br />
4. Последовательно выполняются формулы обратного хода:<br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = m-1, m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}</math>, <math>\quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа (см. Рисунок 2). <br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения встречной прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n+2</math> делений,<br />
* <math>3n-2</math> сложений/вычитаний,<br />
* <math>3n-2</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности встречная прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
Информационный граф встречной прогонки представлен на рис.1. Как видно, он параллелен на прямом ходе со степенью не более 4, на обратном - со степенью не более 2. При выполнении прямого хода не только сами ветви, но и две подветви каждой из них (левая - разложение матрицы, правая - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правые подветви соответствуют обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход". Вариант с заменой делений сводится к графу, изображённому на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Обе ветви прямого хода можно выполнять одновременно, если <math>N=2m-1</math>, т.е. <math>n=2m</math>. В этом случае встречная прогонка требует последовательного выполнения следующих ярусов:<br />
<br />
* <math>m+1</math> ярусов делений (в каждом из ярусов, кроме одного, по 4 деления, в одном - 2 деления),<br />
* по <math>2m-1</math> ярусов умножений и сложений/вычитаний (в <math>m-1</math> ярусах - по 4 операции, в <math>m-1</math> - по две, в одном - три операции).<br />
<br />
Таким образом, при классификации по высоте ЯПФ встречная прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ сложность этого алгоритма равна <math>4</math>.<br />
<br />
При нечётном <math>n</math> ветви нельзя выполнить синхронно, поэтому предпочтительнее выбирать чётные размеры задач.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 4). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – тоже ''константа''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно встречная прогонка, как и монотонная, используется для решения СЛАУ с диагональным преобладанием. Тогда гарантируется устойчивость алгоритма.<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, ветви вычислений с нахождением коэффициентов можно не повторять. Тогда будет более предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от нужд вычислений, возможны как разные способы хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов), так и разные способы хранения вычисляемых коэффициентов (на месте уже использованных элементов матрицы либо отдельно).<br />
<br />
Приведем пример подпрограммы, реализующей встречную прогонку, где все элементы матрицы хранятся в одном массиве, причём соседние элементы матричной строки размещаются рядом, а вычисляемые коэффициенты --- на месте уже ненужных элементов исходной матрицы.<br />
<br />
<source lang="fortran"><br />
subroutine vprogm (a,x,N) ! N=2m-1<br />
real a(3,0:N), x(0:N)<br />
<br />
m=(N+1)/2<br />
<br />
a(2,0)=1./a(2,0)<br />
a(2,N)=1./a(2,N)<br />
<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
a(1,N)=-a(1,N)*a(2,N) ! xi N<br />
<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
x(N)=x(N)*a(2,N) ! eta N<br />
<br />
do 10 i=1,m-1<br />
<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(2,N-i)=1./(a(2,N-i)+a(3,N-i)*a(2,N-i+1))<br />
<br />
a(3,i) = -a(3,i)*a(2,i) ! alpha i+1<br />
a(1,N-i) = -a(1,N-i)*a(2,N-i) ! xi N-i<br />
<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
x(N-i)=(x(N-i)-a(3,N-i)*x(N-i+1))* a(2,N-i) ! eta N-i<br />
<br />
10 continue<br />
<br />
a(1,0)=1./(1.-a(1,m)*a(3,m-1))<br />
bb=x(m-1)<br />
ee=x(m)<br />
x(m-1)=(bb+a(3,m-1)*ee))*a(1,0) ! y m-1<br />
x(m) = (ee+a(1,m)*bb)*a(1,0) ! y m<br />
<br />
do 20 i=m+1,N<br />
x(i)=a(1,i)*x(i-1)+x(i) ! y i<br />
x(N-i)=a(3,N-i)*x(N-i+1)+x(i) ! y N-i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, что нужны операциям, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом" и "нижнем правом" "углах" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, что бы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что является даже излишней, если две основные ветви реализуются по отдельности на разных ядрах или же последовательно друг за другом <ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)"</ref>. Из-за того, что данные, необходимые для выполнения основных операций прогонки, вычисляются в непосредственно предшествующим им операциях, возможность использования суперскалярности вычислительных ядер процессоров практически сводится на нет, что резко ухудшает эффективность исполнения прогонки даже на современных однопроцессорных и одноядерных системах. Именно поэтому в примере п.2.1 обе ветви (как прямого, так и обратного хода) сведены в общий цикл. Это, однако, даёт выигрыш только по сравнению с чересчур локальной монотонной прогонкой, ибо эффективность остаётся малой.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal2_1.png|thumb|center|700px|Рисунок 3. Встречная прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации точечного варианта встречной прогонки. Данный профиль состоит из двух этапов (разделены желтой линией), на каждом из которых выполняются обращения к 4-м массивам. Обращения к разным массивам разделены зелеными горизонтальными линиями. Исходя из общего профиля, можно предположить, что на первом этапе ко всем массивам выполняются примерно одни и те же обращения, которые в каждом случае формируют два параллельно выполняемых последовательных перебора, один по возрастанию элементов массива, другой – по убыванию. <br />
<br />
На втором этапе профили для разных массивов отличаются, однако они также напоминают обычные последовательные переборы. Если это верно, то в целом данный профиль обладает высокой пространственной локальностью (обращения к соседним элементам следуют близко друг от друга) и достаточно низкой временной (повторное использование данных практически отсутствует). Рассмотрим профиль более детально и проверим, так ли это.<br />
<br />
На рис. 4 представлен выделенный зеленым фрагмент общего профиля. Здесь видно, что обращения к 4-м массивам обладают регулярной структурой, при этом действительно соседние элементы задействованы рядом. Однако сложно определить с точностью до отдельных обращений, как они устроены.<br />
<br />
<br />
[[file:tridiagonal2_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
На рис. 5 отдельно рассмотрены профили из рис. 4. При таком рассмотрении видно, что в целом все профили действительно состоят из последовательных переборов, только на каждом шаге перебора выполняется разное число обращений. В профиле на рис. 5а на каждом шаге задействован текущий и предыдущий элементы; в профиле на рис. 5б, видимо, задействован еще и следующий элемент. Профили 5в и 5г устроены чуть проще – только в одном переборе на каждом шаге выполняются два обращения.<br />
<br />
[[file:tridiagonal2_3.png|thumb|center|700px|Рисунок 5. Отдельные профили для разных массивов]]<br />
<br />
Исходя из полученной информации, можно сделать вывод, что локальность обращений даже лучше, чем мы предположили при рассмотрении общего профиля. Это связано с тем, что во многих случаях одни и те же данные используются подряд несколько раз, что повышает как пространственную, так и временную локальность.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal_other/tridiagonal_other.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). В целом значение daps для данной программы показывает достаточно высокую производительность работы с памятью, что соответствует нашим ожиданиям согласно приведенному выше описанию локальности.<br />
<br />
[[file:tridiagonal2_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рисунке 7 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Для этой программы оценка cvg очень высока, даже лучше, чем в случае теста Linpack. Здесь можно отметить довольно заметную разницу между двумя оценками, daps и cvg. Возможные причины такой разницы здесь могут быть те же, что и в случае обычной прогонки, которые описаны [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82#.D0.9B.D0.BE.D0.BA.D0.B0.D0.BB.D1.8C.D0.BD.D0.BE.D1.81.D1.82.D1.8C_.D0.B4.D0.B0.D0.BD.D0.BD.D1.8B.D1.85_.D0.B8_.D0.B2.D1.8B.D1.87.D0.B8.D1.81.D0.BB.D0.B5.D0.BD.D0.B8.D0.B9 здесь].<br />
<br />
[[file:tridiagonal2_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Встречная прогонка задумана изначально для случая, когда нужно найти только какую-то близкую к "середине" компоненту вектора решения, а остальные не нужны (решение т.н. "частичной задачи"). При появлении параллельных компьютерных устройств оказалось, что у встречной прогонки есть небольшой ресурс параллелизма и она убыстряет счёт, если её верхнюю и нижнюю ветви раскидать на 2 процессора. Однако для получения массового параллелизма встречная прогонка непригодна из-за низкой ширины своей [[Глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] (равной 4 на прямом и 2 - на обратном ходе).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой встречной прогонки, как почти непараллельного алгоритма, говорить нельзя в принципе, за исключением разве что двухпроцессорных систем. Понятие масштабируемости неприменимо, поскольку описываемый алгоритм не предполагает параллельной реализации.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.0634%;<br />
* максимальная эффективность реализации 0.0651%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Vstr perf.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Vstr eff.png|thumb|center|700px|Рисунок 9. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Мизерная эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiagonal_other/tridiagonal_other.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу существенно последовательной природы алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Встречная прогонка - метод для архитектуры классического, фон-неймановского типа. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует взять какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]] или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный метод]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм встречной прогонки настолько прост, что, в тех случаях, когда он по каким-либо причинам понадобился, большинство использующих его исследователей-прикладников просто пишут соответствующий фрагмент программы самостоятельно. Поэтому встречную прогонку в пакеты программ обычно не включают.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с небольшим уровнем параллелизма]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3283Прогонка, точечный вариант2016-01-31T11:03:07Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-7</math><br />
| pf_height = <math>5n-4</math><br />
| pf_width = <math>2</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Прогонка''' - один из вариантов метода исключения неизвестных, применяемого к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
<br />
<br />
Здесь рассматривается тот вариант прогонки, когда обрабатывается вся СЛАУ сверху вниз и обратно - так называемая '''правая прогонка'''. Суть метода состоит в исключении из уравнений неизвестных, сначала - сверху вниз - под диагональю, а затем - снизу вверх - над диагональю. Вариант, когда СЛАУ "проходится" наоборот, снизу вверх и обратно вниз - '''левая прогонка''' - принципиально ничем не отличается от рассматриваемого, поэтому нет смысла включать его отдельное описание.<br />
<br />
[[file:Progonka.png|thumb|right|200px|Рисунок 1. Граф алгоритма прогонки при n=8 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
В приведённых выше обозначениях в прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N</math>.<br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{N} = \beta_{N+1}</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = N-1, N-2, \cdots , 1, 0</math>.<br />
<br />
В литературе<ref name="SETKI" /> указывается, что данные формулы эквивалентны вычислению одного из вариантов <math>LU</math>-разложения матрицы системы с последующим решением двухдиагональных систем посредством прямой и обратной подстановок.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно считать состоящим из двух частей - прямого и обратного хода прогонки. В прямом ходе вычислительное ядро составляют последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в вычислительном ядре остаются только последовательности умножения и сложения. <br />
[[file:ProgonkaInv.png|thumb|left|420px|Рисунок 2. Детальный граф алгоритма прогонки с однократным вычислением обратных чисел при n=4 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым цветом выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - треугольного разложения матрицы и прямого хода решения двухдиагональной СЛАУ, которые выполняются "одновременно", т.е. параллельно друг другу. При этом решение двухдиагональной СЛАУ использует результаты треугольного разложения.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход прогонки:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0} </math><br />
<br />
2. Последовательно для всех i от 1 до N-1 выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>.<br />
<br />
3. Инициализируется обратный ход прогонки:<br />
<br />
<math>y_{N} = (f_{N}+a_{N}\beta_{N})/(c_{N}-a_{N}\alpha_{N})</math><br />
<br />
4. Последовательно для всех i с убыванием от N-1 до 0 выполняются формулы обратного хода:<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n-1</math> делений,<br />
* <math>3n-3</math> сложений/вычитаний,<br />
* <math>3n-3</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности, прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
<br />
Информационный граф прогонки представлен на рис.1. Как следует из анализа графа, он является практически последовательным, при выполнении прямого хода две ветви (левая - разложение матрицы, центральная - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правая ветвь соответствует обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход".<br />
Вариант с заменой делений сводится к графу, который изображён на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в параллельном варианте требуется последовательно выполнить следующие ярусы:<br />
<br />
* <math>n</math> ярусов делений (в каждом из ярусов, кроме одного, по 2 деления),<br />
* по <math>2n - 2</math> ярусов умножений и сложений/вычитаний (в n-1 ярусах - по 2 операции, в n-1 - по одной).<br />
<br />
Таким образом, при классификации по высоте ЯПФ, прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ её сложность будет равна <math>2</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 2). <br />
<br />
При этом вычислительная мощность алгоритма как отношение числа операций к суммарному объему входных и выходных данных также является ''константой''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно прогонка используется для решения СЛАУ с диагональным преобладанием. В этом случае гарантируется устойчивость алгоритма.<br />
<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, левую ветвь вычислений (см. рисунки с графом алгоритма) можно не повторять. Это связано с тем, что <math>LU</math>-разложение матрицы системы не нужно перевычислять. Тогда будет более предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от способа хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов) и способа хранения вычисляемых коэффициентов (на месте уже использованных элементов матрицы либо отдельно) возможны различные реализации алгоритма.<br />
<br />
Приведем пример подпрограммы на языке Fortran, реализующей прогонку, где все элементы матрицы хранятся в одном массиве, причём соседние элементы матричной строки размещаются рядом, а вычисляемые коэффициенты --- на месте элементов исходной матрицы. <br />
<br />
<source lang="fortran"><br />
subroutine progm (a,x,N)<br />
real a(3,0:N), x(0:N)<br />
a(2,0)=1./a(2,0)<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
do 10 i=1,N-1<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(3,i)=-a(3,i)*a(2,i) ! alpha i+1<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
10 continue<br />
a(2,N)=1./(a(2,N)+a(1,N)*a(2,N-1))<br />
x(N)=(x(N)-a(1,N)*x(N-1))*a(2,N) ! y N<br />
do 20 i=N-1,0,-1<br />
x(i)=a(3,i)*x(i+1)+x(i) ! y i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
В Сети имеется много простых реализаций метода, например в [https://ru.wikibooks.org/wiki/%D0%A0%D0%B5%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B8 Викиучебник - Реализации алгоритмов - Метод прогонки]<br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, которые необходимы для операций, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом углу" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, чтобы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что является даже излишней<ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)".</ref>. Из-за того, что данные, необходимые для выполнения основных операций прогонки, вычисляются в непосредственно предшествующим им операциях, возможность использования суперскалярности вычислительных ядер процессоров практически сводится на нет, что резко ухудшает эффективность выполнения прогонки даже на современных однопроцессорных и одноядерных системах.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal_1.png|thumb|center|700px|Рисунок 3. Прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации точечного варианта прогонки. Данный профиль состоит из обращений к 5 массивам – трем диагоналям матрицы, вектору правых частей и результирующему вектору. Исходя из общего профиля, можно увидеть, что программа состоит из двух этапов – на первом выполняется последовательный перебор элементов 4-х массивов, на втором – также последовательный перебор, только в обратном порядке.<br />
<br />
[[file:tridiagonal_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
Однако при более детальном рассмотрении можно заметить, что профиль устроен несколько сложнее (рис. 4). Для некоторых массивов на каждом шаге выполняется по несколько очень близких обращений, что приводит к улучшению как пространственной, так и временной локальности.<br />
<br />
Таким образом, общий профиль обладает высокой пространственной локальностью (поскольку здесь доминируют последовательные переборы элементов) и средней временной (поскольку некоторые элементы сразу используются повторно).<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal/tridiagonal.h здесь] (функция Kernel). Условия запуска описаны здесь [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 5 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Для данной программы значения daps является достаточно неожиданным. Согласно качественному анализу, локальность обращений в память в этом случае достаточно высока. Однако daps оценивает производительность работы с памятью ниже, чем для теста RandomAccess! Такое различие между локальностью и производительностью встречается нечасто.<br />
<br />
При детальном рассмотрении исходного кода выяснились две причины такого поведения. Во-первых, итерации основного цикла являются зависимыми по памяти, то есть на очередной итерации используются данные, посчитанные на предыдущей. Похоже, что в данном случае эта зависимость значительно снижает эффективность работы с памятью, в то время как с точки зрения локальности данный случай является достаточно неплохим.<br />
<br />
Также выяснилось, что одна из операций деления неожиданно существенно замедляет выполнение программы. При замене этой операции на умножение время выполнения уменьшается в 2.5 раза, при этом ассемблерный код двух вариантов программы выглядел идентично (за исключением очевидной замены одной команды деления на команду умножения). <br />
<br />
[[file:tridiagonal_daps.png|thumb|center|700px|Рисунок 5. Сравнение значений оценки daps]]<br />
<br />
Такие особенности программы не отражаются в ее свойствах локальности, что и привело к такому существенному разрыву между оценкой локальности и производительностью работы с памятью.<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, и тем лучше локальность алгоритма. <br />
<br />
На рисунке 6 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). В данном случае все предыдущие выводы подтверждаются – локальность оказывается достаточно высокой, что и было замечено согласно качественной оценке локальности.<br />
<br />
[[file:tridiagonal_cvg.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Как видно из анализа графа алгоритма, его (без существенных модификаций) практически невозможно распараллелить. Поэтому есть два способа использования прогонок для параллельных вычислительных систем: либо разбивать задачу, где используются прогонки, так, чтобы их было достаточно много, например, так, чтобы на каждую из прогонок приходился 1 процессор (1 ядро), либо использовать вместо прогонки её параллельные варианты (циклическую редукцию, последовательно-параллельные варианты и т.п.).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой прогонки, как полностью непараллельного алгоритма, говорить не имеет смысла. Однако необходимо отметить, что анализ масштабируемости параллельных вариантов прогонки должен проводиться относительно однопроцессорной реализации описанного классического варианта прогонки, а не относительно однопроцессорных расчетов для её параллельных вариантов.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.019%;<br />
* максимальная эффективность реализации 0.0255%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Tridiag Perf.png|thumb|center|700px|Рисунок 7. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Tridiag eff.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Малая эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiag/tridiagonal.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу существенно последовательной природы алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Прогонка - метод для архитектуры классического, фон-неймановского типа, непригодный даже для эффективной загрузки одноядерных систем, поддерживающих суперскалярность. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует использовать какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]] или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный вариант]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм прогонки является настолько простым, что, несмотря на его "дежурное" присутствие в стандартных пакетах программ решения задач линейной алгебры, большинство использующих его исследователей-прикладников часто пишут соответствующий фрагмент программы самостоятельно. Однако надо отметить, что, как правило, метод прогонки в пакетах реализуют не в его "чистом виде", а в виде пары "разложение на две двухдиагональные матрицы" и "решение СЛАУ с предварительно факторизованной трёхдиагональной матрицей". Так обстоит дело, например, в пакете SCALAPACK и его предшественниках.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с низким уровнем параллелизма]]<br />
<br />
<br />
[[En:Elimination method, pointwise version]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3282Прогонка, точечный вариант2016-01-31T10:48:03Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-7</math><br />
| pf_height = <math>5n-4</math><br />
| pf_width = <math>2</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Прогонка''' - один из вариантов метода исключения неизвестных, применяемого к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
<br />
<br />
Здесь рассматривается тот вариант прогонки, когда обрабатывается вся СЛАУ сверху вниз и обратно - так называемая '''правая прогонка'''. Суть метода состоит в исключении из уравнений неизвестных, сначала - сверху вниз - под диагональю, а затем - снизу вверх - над диагональю. Вариант, когда СЛАУ "проходится" наоборот, снизу вверх и обратно вниз - '''левая прогонка''' - принципиально ничем не отличается от рассматриваемого, поэтому нет смысла включать его отдельное описание.<br />
<br />
[[file:Progonka.png|thumb|right|200px|Рисунок 1. Граф алгоритма прогонки при n=8 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
В приведённых выше обозначениях в прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N</math>.<br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{N} = \beta_{N+1}</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = N-1, N-2, \cdots , 1, 0</math>.<br />
<br />
В литературе<ref name="SETKI" /> указывается, что данные формулы эквивалентны вычислению одного из вариантов <math>LU</math>-разложения матрицы системы с последующим решением двухдиагональных систем посредством прямой и обратной подстановок.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно считать состоящим из двух частей - прямого и обратного хода прогонки. В прямом ходе вычислительное ядро составляют последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в вычислительном ядре остаются только последовательности умножения и сложения. <br />
[[file:ProgonkaInv.png|thumb|left|420px|Рисунок 2. Детальный граф алгоритма прогонки с однократным вычислением обратных чисел при n=4 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым цветом выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - треугольного разложения матрицы и прямого хода решения двухдиагональной СЛАУ, которые выполняются "одновременно", т.е. параллельно друг другу. При этом решение двухдиагональной СЛАУ использует результаты треугольного разложения.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход прогонки:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0} </math><br />
<br />
2. Последовательно для всех i от 1 до N-1 выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>.<br />
<br />
3. Инициализируется обратный ход прогонки:<br />
<br />
<math>y_{N} = (f_{N}+a_{N}\beta_{N})/(c_{N}-a_{N}\alpha_{N})</math><br />
<br />
4. Последовательно для всех i с убыванием от N-1 до 0 выполняются формулы обратного хода:<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n-1</math> делений,<br />
* <math>3n-3</math> сложений/вычитаний,<br />
* <math>3n-3</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности, прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
<br />
Информационный граф прогонки представлен на рис.1. Как следует из анализа графа, он является практически последовательным, при выполнении прямого хода две ветви (левая - разложение матрицы, центральная - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правая ветвь соответствует обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход".<br />
Вариант с заменой делений сводится к графу, который изображён на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в параллельном варианте требуется последовательно выполнить следующие ярусы:<br />
<br />
* <math>n</math> ярусов делений (в каждом из ярусов, кроме одного, по 2 деления),<br />
* по <math>2n - 2</math> ярусов умножений и сложений/вычитаний (в n-1 ярусах - по 2 операции, в n-1 - по одной).<br />
<br />
Таким образом, при классификации по высоте ЯПФ, прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ её сложность будет равна <math>2</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 2). <br />
<br />
При этом вычислительная мощность алгоритма как отношение числа операций к суммарному объему входных и выходных данных также является ''константой''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно прогонка используется для решения СЛАУ с диагональным преобладанием. В этом случае гарантируется устойчивость алгоритма.<br />
<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, левую ветвь вычислений (см. рисунки с графом алгоритма) можно не повторять. Это связано с тем, что <math>LU</math>-разложение матрицы системы не нужно перевычислять. Тогда будет более предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от способа хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов) и способа хранения вычисляемых коэффициентов (на месте уже использованных элементов матрицы либо отдельно) возможны различные реализации алгоритма.<br />
<br />
Приведем пример подпрограммы на языке Fortran, реализующей прогонку, где все элементы матрицы хранятся в одном массиве, причём соседние элементы матричной строки размещаются рядом, а вычисляемые коэффициенты --- на месте элементов исходной матрицы. <br />
<br />
<source lang="fortran"><br />
subroutine progm (a,x,N)<br />
real a(3,0:N), x(0:N)<br />
a(2,0)=1./a(2,0)<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
do 10 i=1,N-1<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(3,i)=-a(3,i)*a(2,i) ! alpha i+1<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
10 continue<br />
a(2,N)=1./(a(2,N)+a(1,N)*a(2,N-1))<br />
x(N)=(x(N)-a(1,N)*x(N-1))*a(2,N) ! y N<br />
do 20 i=N-1,0,-1<br />
x(i)=a(3,i)*x(i+1)+x(i) ! y i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
В Сети имеется много простых реализаций метода, например в [https://ru.wikibooks.org/wiki/%D0%A0%D0%B5%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B8 Викиучебник - Реализации алгоритмов - Метод прогонки]<br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, которые необходимы для операций, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом углу" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, чтобы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что является даже излишней<ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)".</ref>. Из-за того, что данные, необходимые для выполнения основных операций прогонки, вычисляются в непосредственно предшествующим им операциях, возможность использования суперскалярности вычислительных ядер процессоров практически сводится на нет, что резко ухудшает эффективность выполнения прогонки даже на современных однопроцессорных и одноядерных системах.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal_1.png|thumb|center|700px|Рисунок 3. Прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации точечного варианта прогонки. Данный профиль состоит из обращений к 5 массивам – трем диагоналям матрицы, вектору правых частей и результирующему вектору. Исходя из общего профиля, можно увидеть, что программа состоит из двух этапов – на первом выполняется последовательный перебор элементов 4-х массивов, на втором – также последовательный перебор, только в обратном порядке.<br />
<br />
[[file:tridiagonal_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
Однако при более детальном рассмотрении можно заметить, что профиль устроен несколько сложнее (рис. 4). Для некоторых массивов на каждом шаге выполняется по несколько очень близких обращений, что приводит к улучшению как пространственной, так и временной локальности.<br />
<br />
Таким образом, общий профиль обладает высокой пространственной локальностью (поскольку здесь доминируют последовательные переборы элементов) и средней временной (поскольку некоторые элементы сразу используются повторно).<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal/tridiagonal.h здесь] (функция Kernel). Условия запуска описаны здесь [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 5 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Для данной программы значения daps является достаточно неожиданным. Согласно качественному анализу, локальность обращений в память в этом случае достаточно высока. Однако daps оценивает производительность работы с памятью ниже, чем для теста RandomAccess! Такое различие между локальностью и производительностью встречается нечасто.<br />
<br />
При детальном рассмотрении исходного кода выяснились две причины такого поведения. Во-первых, итерации основного цикла являются зависимыми по памяти, то есть на очередной итерации используются данные, посчитанные на предыдущей. Похоже, что в данном случае эта зависимость значительно снижает эффективность работы с памятью, в то время как с точки зрения локальности данный случай является достаточно неплохим.<br />
<br />
Также выяснилось, что одна из операций деления неожиданно существенно замедляет выполнение программы. При замене этой операции на умножение время выполнения уменьшается в 2.5 раза, при этом ассемблерный код двух вариантов программы выглядел идентично (за исключением очевидной замены одной команды деления на команду умножения). <br />
<br />
[[file:tridiagonal_daps.png|thumb|center|700px|Рисунок 5. Сравнение значений оценки daps]]<br />
<br />
Такие особенности программы не отражаются в ее свойствах локальности, что и привело к такому существенному разрыву между оценкой локальности и производительностью работы с памятью.<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, и тем лучше локальность алгоритма. <br />
<br />
На рисунке 6 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). В данном случае все предыдущие выводы подтверждаются – локальность оказывается достаточно высокой, что и было замечено согласно качественной оценке локальности.<br />
<br />
[[file:tridiagonal_cvg.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Как видно из анализа графа алгоритма, его (без существенных модификаций) практически невозможно распараллелить. Поэтому есть два способа использования прогонок для параллельных вычислительных систем: либо разбивать задачу, где используются прогонки, так, чтобы их было достаточно много, например, так, чтобы на каждую из прогонок приходился 1 процессор (1 ядро), либо использовать вместо прогонки её параллельные варианты (циклическую редукцию, последовательно-параллельные варианты и т.п.).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой прогонки, как полностью непараллельного алгоритма, говорить не имеет смысла. Однако необходимо отметить, что анализ масштабируемости параллельных вариантов прогонки должен проводиться относительно однопроцессорной реализации описанного классического варианта прогонки, а не относительно однопроцессорных расчетов для её параллельных вариантов.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.019%;<br />
* максимальная эффективность реализации 0.0255%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Tridiag Perf.png|thumb|center|700px|Рисунок 7. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Tridiag eff.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Малая эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiag/tridiagonal.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу существенно последовательной природы алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Прогонка - метод для архитектуры классического, фон-неймановского типа, непригодный даже для эффективной загрузки одноядерных систем, поддерживающих суперскалярность. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует использовать какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный вариант]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм прогонки является настолько простым, что, несмотря на его "дежурное" присутствие в стандартных пакетах программ решения задач линейной алгебры, большинство использующих его исследователей-прикладников часто пишут соответствующий фрагмент программы самостоятельно. Однако надо отметить, что, как правило, метод прогонки в пакетах реализуют не в его "чистом виде", а в виде пары "разложение на две двухдиагональные матрицы" и "решение СЛАУ с предварительно факторизованной трёхдиагональной матрицей". Так обстоит дело, например, в пакете SCALAPACK и его предшественниках.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с низким уровнем параллелизма]]<br />
<br />
<br />
[[En:Elimination method, pointwise version]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%92%D1%81%D1%82%D1%80%D0%B5%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3281Встречная прогонка, точечный вариант2016-01-31T10:45:25Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Встречная прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-2</math><br />
| pf_height = <math>2.5n-1</math><br />
| pf_width = <math>4</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]]).<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Встречная прогонка''' - один из вариантов метода исключения неизвестных в приложении к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
'''Встречная прогонка''', как и [[Прогонка, точечный вариант|классическая монотонная]], заключается в исключении из уравнений неизвестных, однако, в отличие от монотонной, в ней исключение ведут одновременно с обоих "краёв" СЛАУ (верхнего и нижнего). В принципе, её можно считать простейшим вариантом [[Метод редукции|метода редукции]] (при m=1 и встречных направлениях монотонных прогонок).<br />
<br />
[[file:VstrProgonka.png|thumb|right|600px|Рисунок 1. Граф алгоритма встречной прогонки при n=14 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<math>m</math> здесь - номер уравнения, на котором "встречаются" две ветви прямого хода - "сверху" и "снизу". <br />
<br />
В приведенных обозначениях во встречной прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
"сверху":<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}, </math><br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1.<br />
<br />
</math><br />
<br />
и "снизу":<br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>,<br />
<br />
<math>\eta_{N} = f_{N}/c_{N}</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m.<br />
<br />
</math><br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}, \quad i = m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}, \quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
<br />
В обычно приводимых<ref name="SETKI" /> формулах встречной прогонки нет формулы для компоненты <math>y_{m-1}</math>, которая вычисляется позже в обратном ходе. Однако это удлиняет критический путь графа, откладывая вычисление <math>y_{m-1}</math> на момент, когда уже будет вычислена <math>y_{m}</math>, хотя обе компоненты могут быть вычислены одновременно почти независимо друг от друга.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно, как и в случае [[Прогонка, точечный вариант|классической монотонной прогонки]], представить состоящим из двух частей - прямого и обратного хода; однако их ширина вдвое больше, чем в монотонном случае. В прямом ходе ядро составляют две независимые последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в ядре остаются только две независимые последовательности операций умножения и сложения.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - прямой ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ. Обратный ход также может быть разложен на две макроединицы - обратный ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
[[file:VstrProgonkaInv.png|thumb|left|600px|Рисунок 2. Детальный граф алгоритма встречной прогонки с однократным вычислением обратных чисел при n=6 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>, <br />
<br />
<math>\eta_{1} = f_{N}/c_{N}</math>.<br />
<br />
2. Последовательно выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>.<br />
<br />
<br />
3. Инициализируется обратный ход:<br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>.<br />
<br />
4. Последовательно выполняются формулы обратного хода:<br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = m-1, m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}</math>, <math>\quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа (см. Рисунок 2). <br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения встречной прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n+2</math> делений,<br />
* <math>3n-2</math> сложений/вычитаний,<br />
* <math>3n-2</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности встречная прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
Информационный граф встречной прогонки представлен на рис.1. Как видно, он параллелен на прямом ходе со степенью не более 4, на обратном - со степенью не более 2. При выполнении прямого хода не только сами ветви, но и две подветви каждой из них (левая - разложение матрицы, правая - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правые подветви соответствуют обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход". Вариант с заменой делений сводится к графу, изображённому на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Обе ветви прямого хода можно выполнять одновременно, если <math>N=2m-1</math>, т.е. <math>n=2m</math>. В этом случае встречная прогонка требует последовательного выполнения следующих ярусов:<br />
<br />
* <math>m+1</math> ярусов делений (в каждом из ярусов, кроме одного, по 4 деления, в одном - 2 деления),<br />
* по <math>2m-1</math> ярусов умножений и сложений/вычитаний (в <math>m-1</math> ярусах - по 4 операции, в <math>m-1</math> - по две, в одном - три операции).<br />
<br />
Таким образом, при классификации по высоте ЯПФ встречная прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ сложность этого алгоритма равна <math>4</math>.<br />
<br />
При нечётном <math>n</math> ветви нельзя выполнить синхронно, поэтому предпочтительнее выбирать чётные размеры задач.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 4). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – тоже ''константа''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно встречная прогонка, как и монотонная, используется для решения СЛАУ с диагональным преобладанием. Тогда гарантируется устойчивость алгоритма.<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, ветви вычислений с нахождением коэффициентов можно не повторять. Тогда будет более предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от нужд вычислений, возможны как разные способы хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов), так и разные способы хранения вычисляемых коэффициентов (на месте уже использованных элементов матрицы либо отдельно).<br />
<br />
Приведем пример подпрограммы, реализующей встречную прогонку, где все элементы матрицы хранятся в одном массиве, причём соседние элементы матричной строки размещаются рядом, а вычисляемые коэффициенты --- на месте уже ненужных элементов исходной матрицы.<br />
<br />
<source lang="fortran"><br />
subroutine vprogm (a,x,N) ! N=2m-1<br />
real a(3,0:N), x(0:N)<br />
<br />
m=(N+1)/2<br />
<br />
a(2,0)=1./a(2,0)<br />
a(2,N)=1./a(2,N)<br />
<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
a(1,N)=-a(1,N)*a(2,N) ! xi N<br />
<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
x(N)=x(N)*a(2,N) ! eta N<br />
<br />
do 10 i=1,m-1<br />
<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(2,N-i)=1./(a(2,N-i)+a(3,N-i)*a(2,N-i+1))<br />
<br />
a(3,i) = -a(3,i)*a(2,i) ! alpha i+1<br />
a(1,N-i) = -a(1,N-i)*a(2,N-i) ! xi N-i<br />
<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
x(N-i)=(x(N-i)-a(3,N-i)*x(N-i+1))* a(2,N-i) ! eta N-i<br />
<br />
10 continue<br />
<br />
a(1,0)=1./(1.-a(1,m)*a(3,m-1))<br />
bb=x(m-1)<br />
ee=x(m)<br />
x(m-1)=(bb+a(3,m-1)*ee))*a(1,0) ! y m-1<br />
x(m) = (ee+a(1,m)*bb)*a(1,0) ! y m<br />
<br />
do 20 i=m+1,N<br />
x(i)=a(1,i)*x(i-1)+x(i) ! y i<br />
x(N-i)=a(3,N-i)*x(N-i+1)+x(i) ! y N-i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, что нужны операциям, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом" и "нижнем правом" "углах" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, что бы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что является даже излишней, если две основные ветви реализуются по отдельности на разных ядрах или же последовательно друг за другом <ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)"</ref>. Из-за того, что данные, необходимые для выполнения основных операций прогонки, вычисляются в непосредственно предшествующим им операциях, возможность использования суперскалярности вычислительных ядер процессоров практически сводится на нет, что резко ухудшает эффективность исполнения прогонки даже на современных однопроцессорных и одноядерных системах. Именно поэтому в примере п.2.1 обе ветви (как прямого, так и обратного хода) сведены в общий цикл. Это, однако, даёт выигрыш только по сравнению с чересчур локальной монотонной прогонкой, ибо эффективность остаётся малой.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal2_1.png|thumb|center|700px|Рисунок 3. Встречная прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации точечного варианта встречной прогонки. Данный профиль состоит из двух этапов (разделены желтой линией), на каждом из которых выполняются обращения к 4-м массивам. Обращения к разным массивам разделены зелеными горизонтальными линиями. Исходя из общего профиля, можно предположить, что на первом этапе ко всем массивам выполняются примерно одни и те же обращения, которые в каждом случае формируют два параллельно выполняемых последовательных перебора, один по возрастанию элементов массива, другой – по убыванию. <br />
<br />
На втором этапе профили для разных массивов отличаются, однако они также напоминают обычные последовательные переборы. Если это верно, то в целом данный профиль обладает высокой пространственной локальностью (обращения к соседним элементам следуют близко друг от друга) и достаточно низкой временной (повторное использование данных практически отсутствует). Рассмотрим профиль более детально и проверим, так ли это.<br />
<br />
На рис. 4 представлен выделенный зеленым фрагмент общего профиля. Здесь видно, что обращения к 4-м массивам обладают регулярной структурой, при этом действительно соседние элементы задействованы рядом. Однако сложно определить с точностью до отдельных обращений, как они устроены.<br />
<br />
<br />
[[file:tridiagonal2_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
На рис. 5 отдельно рассмотрены профили из рис. 4. При таком рассмотрении видно, что в целом все профили действительно состоят из последовательных переборов, только на каждом шаге перебора выполняется разное число обращений. В профиле на рис. 5а на каждом шаге задействован текущий и предыдущий элементы; в профиле на рис. 5б, видимо, задействован еще и следующий элемент. Профили 5в и 5г устроены чуть проще – только в одном переборе на каждом шаге выполняются два обращения.<br />
<br />
[[file:tridiagonal2_3.png|thumb|center|700px|Рисунок 5. Отдельные профили для разных массивов]]<br />
<br />
Исходя из полученной информации, можно сделать вывод, что локальность обращений даже лучше, чем мы предположили при рассмотрении общего профиля. Это связано с тем, что во многих случаях одни и те же данные используются подряд несколько раз, что повышает как пространственную, так и временную локальность.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal_other/tridiagonal_other.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). В целом значение daps для данной программы показывает достаточно высокую производительность работы с памятью, что соответствует нашим ожиданиям согласно приведенному выше описанию локальности.<br />
<br />
[[file:tridiagonal2_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рисунке 7 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Для этой программы оценка cvg очень высока, даже лучше, чем в случае теста Linpack. Здесь можно отметить довольно заметную разницу между двумя оценками, daps и cvg. Возможные причины такой разницы здесь могут быть те же, что и в случае обычной прогонки, которые описаны [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82#.D0.9B.D0.BE.D0.BA.D0.B0.D0.BB.D1.8C.D0.BD.D0.BE.D1.81.D1.82.D1.8C_.D0.B4.D0.B0.D0.BD.D0.BD.D1.8B.D1.85_.D0.B8_.D0.B2.D1.8B.D1.87.D0.B8.D1.81.D0.BB.D0.B5.D0.BD.D0.B8.D0.B9 здесь].<br />
<br />
[[file:tridiagonal2_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Встречная прогонка задумана изначально для случая, когда нужно найти только какую-то близкую к "середине" компоненту вектора решения, а остальные были не нужны (решение т.н. "частичной задачи"). При появлении параллельных компьютерных устройств оказалось, что у встречной прогонки есть небольшой ресурс параллелизма, и она убыстряет счёт, если её верхнюю и нижнюю ветви раскидать на 2 процессора. Однако для получения массового параллелизма встречная прогонка непригодна из-за низкой ширины своей [[Глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] (равной 4 на прямом и 2 - на обратном ходе).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой встречной прогонки, как почти непараллельного алгоритма, говорить нельзя в принципе, за исключением разве что двухпроцессорных систем. Понятие масштабируемости неприменимо, поскольку описываемый алгоритм не предполагает параллельной реализации.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.0634%;<br />
* максимальная эффективность реализации 0.0651%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Vstr perf.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Vstr eff.png|thumb|center|700px|Рисунок 9. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Мизерная эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiagonal_other/tridiagonal_other.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу последовательности алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Встречная прогонка - метод для архитектуры классического, фон-неймановского типа. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует взять какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный метод]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм встречной прогонки настолько прост, что, в тех случаях, когда он по каким-либо причинам понадобился, большинство использующих его исследователей-прикладников просто пишут соответствующий фрагмент программы самостоятельно. Поэтому встречную прогонку в пакеты программ обычно не включают.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с небольшим уровнем параллелизма]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%92%D1%81%D1%82%D1%80%D0%B5%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3280Встречная прогонка, точечный вариант2016-01-31T10:29:32Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Встречная прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-2</math><br />
| pf_height = <math>2.5n-1</math><br />
| pf_width = <math>4</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]]).<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Встречная прогонка''' - один из вариантов метода исключения неизвестных в приложении к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
'''Встречная прогонка''', как и [[Прогонка, точечный вариант|классическая монотонная]], заключается в исключении из уравнений неизвестных, однако, в отличие от монотонной, в ней исключение ведут одновременно с обоих "краёв" СЛАУ (верхнего и нижнего). В принципе, её можно считать простейшим вариантом [[Метод редукции|метода редукции]] (при m=1 и встречных направлениях монотонных прогонок).<br />
<br />
[[file:VstrProgonka.png|thumb|right|600px|Рисунок 1. Граф алгоритма встречной прогонки при n=14 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<math>m</math> здесь - номер уравнения, на котором "встречаются" две ветви прямого хода - "сверху" и "снизу". <br />
<br />
В приведенных обозначениях во встречной прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
"сверху":<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}, </math><br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1.<br />
<br />
</math><br />
<br />
и "снизу":<br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>,<br />
<br />
<math>\eta_{N} = f_{N}/c_{N}</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m.<br />
<br />
</math><br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}, \quad i = m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}, \quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
<br />
В обычно приводимых<ref name="SETKI" /> формулах встречной прогонки нет формулы для компоненты <math>y_{m-1}</math>, которая вычисляется позже в обратном ходе. Однако это удлиняет критический путь графа, откладывая вычисление <math>y_{m-1}</math> на момент, когда уже будет вычислена <math>y_{m}</math>, хотя обе компоненты могут быть вычислены одновременно почти независимо друг от друга.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно, как и в случае [[Прогонка, точечный вариант|классической монотонной прогонки]], представить состоящим из двух частей - прямого и обратного хода; однако их ширина вдвое больше, чем в монотонном случае. В прямом ходе ядро составляют две независимые последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в ядре остаются только две независимые последовательности операций умножения и сложения.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - прямой ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ. Обратный ход также может быть разложен на две макроединицы - обратный ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
[[file:VstrProgonkaInv.png|thumb|left|600px|Рисунок 2. Детальный граф алгоритма встречной прогонки с однократным вычислением обратных чисел при n=6 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>, <br />
<br />
<math>\eta_{1} = f_{N}/c_{N}</math>.<br />
<br />
2. Последовательно выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>.<br />
<br />
<br />
3. Инициализируется обратный ход:<br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>.<br />
<br />
4. Последовательно выполняются формулы обратного хода:<br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = m-1, m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}</math>, <math>\quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа (см. Рисунок 2). <br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения встречной прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n+2</math> делений,<br />
* <math>3n-2</math> сложений/вычитаний,<br />
* <math>3n-2</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности встречная прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
Информационный граф встречной прогонки представлен на рис.1. Как видно, он параллелен на прямом ходе со степенью не более 4, на обратном - со степенью не более 2. При выполнении прямого хода не только сами ветви, но и две подветви каждой из них (левая - разложение матрицы, правая - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правые подветви соответствуют обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход". Вариант с заменой делений сводится к графу, изображённому на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Обе ветви прямого хода можно выполнять одновременно, если <math>N=2m-1</math>, т.е. <math>n=2m</math>. В этом случае встречная прогонка требует последовательного выполнения следующих ярусов:<br />
<br />
* <math>m+1</math> ярусов делений (в каждом из ярусов, кроме одного, по 4 деления, в одном - 2 деления),<br />
* по <math>2m-1</math> ярусов умножений и сложений/вычитаний (в <math>m-1</math> ярусах - по 4 операции, в <math>m-1</math> - по две, в одном - три операции).<br />
<br />
Таким образом, при классификации по высоте ЯПФ встречная прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ сложность этого алгоритма равна <math>4</math>.<br />
<br />
При нечётном <math>n</math> ветви нельзя выполнить синхронно, поэтому предпочтительнее выбирать чётные размеры задач.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 4). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – тоже ''константа''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно встречная прогонка, как и монотонная, используется для решения СЛАУ с диагональным преобладанием. Тогда гарантируется устойчивость алгоритма.<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, ветви вычислений с нахождением коэффициентов можно не повторять. Тогда будет более предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от нужд вычислений, возможны как разные способы хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов), так и разные способы хранения вычисляемых коэффициентов (на месте уже использованных элементов матрицы либо отдельно).<br />
<br />
Приведем пример подпрограммы, реализующей встречную прогонку, где все элементы матрицы хранятся в одном массиве, причём соседние элементы матричной строки размещаются рядом, а вычисляемые коэффициенты --- на месте уже ненужных элементов исходной матрицы.<br />
<br />
<source lang="fortran"><br />
subroutine vprogm (a,x,N) ! N=2m-1<br />
real a(3,0:N), x(0:N)<br />
<br />
m=(N+1)/2<br />
<br />
a(2,0)=1./a(2,0)<br />
a(2,N)=1./a(2,N)<br />
<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
a(1,N)=-a(1,N)*a(2,N) ! xi N<br />
<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
x(N)=x(N)*a(2,N) ! eta N<br />
<br />
do 10 i=1,m-1<br />
<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(2,N-i)=1./(a(2,N-i)+a(3,N-i)*a(2,N-i+1))<br />
<br />
a(3,i) = -a(3,i)*a(2,i) ! alpha i+1<br />
a(1,N-i) = -a(1,N-i)*a(2,N-i) ! xi N-i<br />
<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
x(N-i)=(x(N-i)-a(3,N-i)*x(N-i+1))* a(2,N-i) ! eta N-i<br />
<br />
10 continue<br />
<br />
a(1,0)=1./(1.-a(1,m)*a(3,m-1))<br />
bb=x(m-1)<br />
ee=x(m)<br />
x(m-1)=(bb+a(3,m-1)*ee))*a(1,0) ! y m-1<br />
x(m) = (ee+a(1,m)*bb)*a(1,0) ! y m<br />
<br />
do 20 i=m+1,N<br />
x(i)=a(1,i)*x(i-1)+x(i) ! y i<br />
x(N-i)=a(3,N-i)*x(N-i+1)+x(i) ! y N-i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, что нужны операциям, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом" и "нижнем правом" "углах" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, что бы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что является даже излишней, если две основные ветви реализуются по отдельности на разных ядрах или же последовательно друг за другом <ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)"</ref>. Из-за того, что данные, необходимые для выполнения основных операций прогонки, вычисляются в непосредственно предшествующим им операциях, возможность использования суперскалярности вычислительных ядер процессоров практически сводится на нет, что резко ухудшает эффективность исполнения прогонки даже на современных однопроцессорных и одноядерных системах. Именно поэтому в примере п.2.1 обе ветви (как прямого, так и обратного хода) сведены в общий цикл. Это, однако, даёт выигрыш только по сравнению с чересчур локальной монотонной прогонкой, ибо эффективность остаётся малой.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal2_1.png|thumb|center|700px|Рисунок 3. Встречная прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации встречной прогонки, точечный вариант. Данный профиль состоит из двух этапов (разделены желтой линией), на каждом из которых выполняются обращения к 4-м массивам. Обращения к разным массивам разделены зелеными горизонтальными линиями. Исходя из общего профиля, можно предположить, что на первом этапе ко всем массивам выполняются примерно одни и те же обращения, которые в каждом случае формируют две параллельно выполняемых последовательных перебора, один по возрастанию элементов массива, другой – по убыванию. <br />
<br />
На втором этапе для разных массивов профили отличаются, однако также напоминают обычные последовательные переборы. Если это верно, в общем данный профиль обладает высокой пространственной локальностью (обращения к соседним элементам следуют близко друг от друга) и достаточно низкой временной (повторное использование данных практически отсутствует). Рассмотрим профиль более детально и проверим, так ли это.<br />
<br />
На рис. 4 представлен выделенный зеленым фрагмент общего профиля. Здесь видно, что обращения к 4-м массивам обладают регулярной структурой, при этом действительно соседние элементы задействованы рядом. Однако сложно определить с точностью до отдельных обращений, как они устроены.<br />
<br />
<br />
[[file:tridiagonal2_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
На рис. 5 отдельно рассмотрены профили из рис. 4. При таком рассмотрении видно, что в целом все профили действительно состоят из последовательных переборов, только на каждом шаге перебора выполняется разное число обращений. В профиле на рис. 5а на каждом шаге задействован текущий и предыдущий элементы; в профиле на рис. 5б, видимо также задействован еще и следующий элемент. Профили 5в и 5г устроены чуть проще – только в одном переборе на каждом шаге выполняются два обращения.<br />
<br />
[[file:tridiagonal2_3.png|thumb|center|700px|Рисунок 5. Отдельные профили для разных массивов]]<br />
<br />
Исходя из полученной информации, можно сделать вывод, что локальность обращений даже лучше, чем мы предположили при рассмотрении общего профиля. Это связано с тем, что во многих случаях одни и те же данные используются подряд несколько раз, что повышает как пространственную, так и временную локальность.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal_other/tridiagonal_other.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). В целом значение daps для данной программы показывает достаточно высокую производительность работы с памятью, что соответствует нашим ожиданиям согласно приведенному выше описанию локальности.<br />
<br />
[[file:tridiagonal2_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рисунке 7 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Для этой программы оценка cvg очень высока, даже лучше, чем в случае теста Linpack. Здесь можно отметить довольно заметную разницу между двумя оценками, daps и cvg. Возможные причины такой разницы здесь могут быть те же, что и в случае обычной прогонки, которые описаны [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82#.D0.9B.D0.BE.D0.BA.D0.B0.D0.BB.D1.8C.D0.BD.D0.BE.D1.81.D1.82.D1.8C_.D0.B4.D0.B0.D0.BD.D0.BD.D1.8B.D1.85_.D0.B8_.D0.B2.D1.8B.D1.87.D0.B8.D1.81.D0.BB.D0.B5.D0.BD.D0.B8.D0.B9 здесь].<br />
<br />
[[file:tridiagonal2_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Встречная прогонка задумана изначально для случая, когда нужно найти только какую-то близкую к "середине" компоненту вектора решения, а остальные были не нужны (решение т.н. "частичной задачи"). При появлении параллельных компьютерных устройств оказалось, что у встречной прогонки есть небольшой ресурс параллелизма, и она убыстряет счёт, если её верхнюю и нижнюю ветви раскидать на 2 процессора. Однако для получения массового параллелизма встречная прогонка непригодна из-за низкой ширины своей [[Глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] (равной 4 на прямом и 2 - на обратном ходе).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой встречной прогонки, как почти непараллельного алгоритма, говорить нельзя в принципе, за исключением разве что двухпроцессорных систем. Понятие масштабируемости неприменимо, поскольку описываемый алгоритм не предполагает параллельной реализации.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.0634%;<br />
* максимальная эффективность реализации 0.0651%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Vstr perf.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Vstr eff.png|thumb|center|700px|Рисунок 9. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Мизерная эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiagonal_other/tridiagonal_other.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу последовательности алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Встречная прогонка - метод для архитектуры классического, фон-неймановского типа. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует взять какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный метод]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм встречной прогонки настолько прост, что, в тех случаях, когда он по каким-либо причинам понадобился, большинство использующих его исследователей-прикладников просто пишут соответствующий фрагмент программы самостоятельно. Поэтому встречную прогонку в пакеты программ обычно не включают.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с небольшим уровнем параллелизма]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%92%D1%81%D1%82%D1%80%D0%B5%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3279Встречная прогонка, точечный вариант2016-01-31T09:59:48Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Встречная прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-2</math><br />
| pf_height = <math>2.5n-1</math><br />
| pf_width = <math>4</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]]).<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Встречная прогонка''' - один из вариантов метода исключения неизвестных в приложении к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
'''Встречная прогонка''', как и [[Прогонка, точечный вариант|классическая монотонная]], заключается в исключении из уравнений неизвестных, однако, в отличие от монотонной, в ней исключение ведут одновременно с обоих "краёв" СЛАУ (верхнего и нижнего). В принципе, её можно считать простейшим вариантом [[Метод редукции|метода редукции]] (при m=1 и встречных направлениях монотонных прогонок).<br />
<br />
[[file:VstrProgonka.png|thumb|right|600px|Рисунок 1. Граф алгоритма встречной прогонки при n=14 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<math>m</math> здесь - номер уравнения, на котором "встречаются" две ветви прямого хода - "сверху" и "снизу". <br />
<br />
В приведенных обозначениях во встречной прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
"сверху":<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}, </math><br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1.<br />
<br />
</math><br />
<br />
и "снизу":<br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>,<br />
<br />
<math>\eta_{N} = f_{N}/c_{N}</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m.<br />
<br />
</math><br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}, \quad i = m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}, \quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
<br />
В обычно приводимых<ref name="SETKI" /> формулах встречной прогонки нет формулы для компоненты <math>y_{m-1}</math>, которая вычисляется позже в обратном ходе. Однако это удлиняет критический путь графа, откладывая вычисление <math>y_{m-1}</math> на момент, когда уже будет вычислена <math>y_{m}</math>, хотя обе компоненты могут быть вычислены одновременно почти независимо друг от друга.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно, как и в случае [[Прогонка, точечный вариант|классической монотонной прогонки]], представить состоящим из двух частей - прямого и обратного хода; однако их ширина вдвое больше, чем в монотонном случае. В прямом ходе ядро составляют две независимые последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в ядре остаются только две независимые последовательности операций умножения и сложения.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - прямой ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ. Обратный ход также может быть разложен на две макроединицы - обратный ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
[[file:VstrProgonkaInv.png|thumb|left|600px|Рисунок 2. Детальный граф алгоритма встречной прогонки с однократным вычислением обратных чисел при n=6 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>, <br />
<br />
<math>\eta_{1} = f_{N}/c_{N}</math>.<br />
<br />
2. Последовательно выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>.<br />
<br />
<br />
3. Инициализируется обратный ход:<br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>.<br />
<br />
4. Последовательно выполняются формулы обратного хода:<br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = m-1, m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}</math>, <math>\quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа (см. Рисунок 2). <br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения встречной прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n+2</math> делений,<br />
* <math>3n-2</math> сложений/вычитаний,<br />
* <math>3n-2</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности встречная прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
Информационный граф встречной прогонки представлен на рис.1. Как видно, он параллелен на прямом ходе со степенью не более 4, на обратном - со степенью не более 2. При выполнении прямого хода не только сами ветви, но и две подветви каждой из них (левая - разложение матрицы, правая - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правые подветви соответствуют обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход". Вариант с заменой делений сводится к графу, изображённому на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Обе ветви прямого хода можно выполнять одновременно, если <math>N=2m-1</math>, т.е. <math>n=2m</math>. В этом случае встречная прогонка требует последовательного выполнения следующих ярусов:<br />
<br />
* <math>m+1</math> ярусов делений (в каждом из ярусов, кроме одного, по 4 деления, в одном - 2 деления),<br />
* по <math>2m-1</math> ярусов умножений и сложений/вычитаний (в <math>m-1</math> ярусах - по 4 операции, в <math>m-1</math> - по две, в одном - три операции).<br />
<br />
Таким образом, при классификации по высоте ЯПФ встречная прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ сложность этого алгоритма равна <math>4</math>.<br />
<br />
При нечётном <math>n</math> ветви нельзя выполнить синхронно, поэтому предпочтительнее выбирать чётные размеры задач.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 4). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – тоже ''константа''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно встречная прогонка, как и монотонная, используется для решения СЛАУ с диагональным преобладанием. Тогда гарантируется устойчивость алгоритма.<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, ветви вычислений с нахождением коэффициентов можно не повторять. Тогда предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от нужд вычислений, возможны как разные способы хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов), так и разные способы хранения вычисляемых коэффициентов (на месте использованных уже элементов матрицы либо отдельно).<br />
<br />
Вот пример подпрограммы, реализующей встречную прогонку, где все элементы матрицы размещены в 1 массиве, причём соседние по строке - рядом, а вычисляемые коэффициенты хранятся на месте ненужных элементов матрицы. <br />
<br />
<source lang="fortran"><br />
subroutine vprogm (a,x,N) ! N=2m-1<br />
real a(3,0:N), x(0:N)<br />
<br />
m=(N+1)/2<br />
<br />
a(2,0)=1./a(2,0)<br />
a(2,N)=1./a(2,N)<br />
<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
a(1,N)=-a(1,N)*a(2,N) ! xi N<br />
<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
x(N)=x(N)*a(2,N) ! eta N<br />
<br />
do 10 i=1,m-1<br />
<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(2,N-i)=1./(a(2,N-i)+a(3,N-i)*a(2,N-i+1))<br />
<br />
a(3,i) = -a(3,i)*a(2,i) ! alpha i+1<br />
a(1,N-i) = -a(1,N-i)*a(2,N-i) ! xi N-i<br />
<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
x(N-i)=(x(N-i)-a(3,N-i)*x(N-i+1))* a(2,N-i) ! eta N-i<br />
<br />
10 continue<br />
<br />
a(1,0)=1./(1.-a(1,m)*a(3,m-1))<br />
bb=x(m-1)<br />
ee=x(m)<br />
x(m-1)=(bb+a(3,m-1)*ee))*a(1,0) ! y m-1<br />
x(m) = (ee+a(1,m)*bb)*a(1,0) ! y m<br />
<br />
do 20 i=m+1,N<br />
x(i)=a(1,i)*x(i-1)+x(i) ! y i<br />
x(N-i)=a(3,N-i)*x(N-i+1)+x(i) ! y N-i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, что нужны операциям, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом" и "нижнем правом" "углах" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, что бы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что, если две основные ветви реализовать по отдельности на разных ядрах, или же последовательно друг за другом, то будет излишней<ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)"</ref>. Из-за того, что данные, нужные для вычислений основных операций алгоритма прогонки, вычисляются в её процессе операциями, непосредственно предшествующими им, возможности вычислительных ядер процессоров по использованию своей суперскалярности практически сводятся на нет, что резко ухудшает эффективность исполнения прогонки даже на современных однопроцессорных и одноядерных системах. Именно поэтому в примере п.2.1 обе ветви (как прямого, так и обратного хода) сведены в общий цикл. Это, однако, даёт выигрыш только по сравнению с чересчур локальной монотонной прогонкой, ибо эффективность остаётся малой.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal2_1.png|thumb|center|700px|Рисунок 3. Встречная прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации встречной прогонки, точечный вариант. Данный профиль состоит из двух этапов (разделены желтой линией), на каждом из которых выполняются обращения к 4-м массивам. Обращения к разным массивам разделены зелеными горизонтальными линиями. Исходя из общего профиля, можно предположить, что на первом этапе ко всем массивам выполняются примерно одни и те же обращения, которые в каждом случае формируют две параллельно выполняемых последовательных перебора, один по возрастанию элементов массива, другой – по убыванию. <br />
<br />
На втором этапе для разных массивов профили отличаются, однако также напоминают обычные последовательные переборы. Если это верно, в общем данный профиль обладает высокой пространственной локальностью (обращения к соседним элементам следуют близко друг от друга) и достаточно низкой временной (повторное использование данных практически отсутствует). Рассмотрим профиль более детально и проверим, так ли это.<br />
<br />
На рис. 4 представлен выделенный зеленым фрагмент общего профиля. Здесь видно, что обращения к 4-м массивам обладают регулярной структурой, при этом действительно соседние элементы задействованы рядом. Однако сложно определить с точностью до отдельных обращений, как они устроены.<br />
<br />
<br />
[[file:tridiagonal2_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
На рис. 5 отдельно рассмотрены профили из рис. 4. При таком рассмотрении видно, что в целом все профили действительно состоят из последовательных переборов, только на каждом шаге перебора выполняется разное число обращений. В профиле на рис. 5а на каждом шаге задействован текущий и предыдущий элементы; в профиле на рис. 5б, видимо также задействован еще и следующий элемент. Профили 5в и 5г устроены чуть проще – только в одном переборе на каждом шаге выполняются два обращения.<br />
<br />
[[file:tridiagonal2_3.png|thumb|center|700px|Рисунок 5. Отдельные профили для разных массивов]]<br />
<br />
Исходя из полученной информации, можно сделать вывод, что локальность обращений даже лучше, чем мы предположили при рассмотрении общего профиля. Это связано с тем, что во многих случаях одни и те же данные используются подряд несколько раз, что повышает как пространственную, так и временную локальность.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal_other/tridiagonal_other.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). В целом значение daps для данной программы показывает достаточно высокую производительность работы с памятью, что соответствует нашим ожиданиям согласно приведенному выше описанию локальности.<br />
<br />
[[file:tridiagonal2_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рисунке 7 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Для этой программы оценка cvg очень высока, даже лучше, чем в случае теста Linpack. Здесь можно отметить довольно заметную разницу между двумя оценками, daps и cvg. Возможные причины такой разницы здесь могут быть те же, что и в случае обычной прогонки, которые описаны [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82#.D0.9B.D0.BE.D0.BA.D0.B0.D0.BB.D1.8C.D0.BD.D0.BE.D1.81.D1.82.D1.8C_.D0.B4.D0.B0.D0.BD.D0.BD.D1.8B.D1.85_.D0.B8_.D0.B2.D1.8B.D1.87.D0.B8.D1.81.D0.BB.D0.B5.D0.BD.D0.B8.D0.B9 здесь].<br />
<br />
[[file:tridiagonal2_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Встречная прогонка задумана изначально для случая, когда нужно найти только какую-то близкую к "середине" компоненту вектора решения, а остальные были не нужны (решение т.н. "частичной задачи"). При появлении параллельных компьютерных устройств оказалось, что у встречной прогонки есть небольшой ресурс параллелизма, и она убыстряет счёт, если её верхнюю и нижнюю ветви раскидать на 2 процессора. Однако для получения массового параллелизма встречная прогонка непригодна из-за низкой ширины своей [[Глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] (равной 4 на прямом и 2 - на обратном ходе).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой встречной прогонки, как почти непараллельного алгоритма, говорить нельзя в принципе, за исключением разве что двухпроцессорных систем. Понятие масштабируемости неприменимо, поскольку описываемый алгоритм не предполагает параллельной реализации.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.0634%;<br />
* максимальная эффективность реализации 0.0651%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Vstr perf.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Vstr eff.png|thumb|center|700px|Рисунок 9. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Мизерная эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiagonal_other/tridiagonal_other.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу последовательности алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Встречная прогонка - метод для архитектуры классического, фон-неймановского типа. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует взять какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный метод]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм встречной прогонки настолько прост, что, в тех случаях, когда он по каким-либо причинам понадобился, большинство использующих его исследователей-прикладников просто пишут соответствующий фрагмент программы самостоятельно. Поэтому встречную прогонку в пакеты программ обычно не включают.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с небольшим уровнем параллелизма]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%92%D1%81%D1%82%D1%80%D0%B5%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3278Встречная прогонка, точечный вариант2016-01-30T18:09:16Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Встречная прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-2</math><br />
| pf_height = <math>2.5n-1</math><br />
| pf_width = <math>4</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]]).<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Встречная прогонка''' - один из вариантов метода исключения неизвестных в приложении к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
'''Встречная прогонка''', как и [[Прогонка, точечный вариант|классическая монотонная]], заключается в исключении из уравнений неизвестных, однако, в отличие от монотонной, в ней исключение ведут одновременно с обоих "краёв" СЛАУ (верхнего и нижнего). В принципе, её можно считать простейшим вариантом [[Метод редукции|метода редукции]] (при m=1 и встречных направлениях монотонных прогонок).<br />
<br />
[[file:VstrProgonka.png|thumb|right|600px|Рисунок 1. Граф алгоритма встречной прогонки при n=14 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<math>m</math> здесь - номер уравнения, на котором "встречаются" две ветви прямого хода - "сверху" и "снизу". <br />
<br />
В приведенных обозначениях во встречной прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
"сверху":<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}, </math><br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1.<br />
<br />
</math><br />
<br />
и "снизу":<br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>,<br />
<br />
<math>\eta_{N} = f_{N}/c_{N}</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m.<br />
<br />
</math><br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}, \quad i = m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}, \quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
<br />
В обычно приводимых<ref name="SETKI" /> формулах встречной прогонки нет формулы для компоненты <math>y_{m-1}</math>, которая вычисляется позже в обратном ходе. Однако это удлиняет критический путь графа, откладывая вычисление <math>y_{m-1}</math> на момент, когда уже будет вычислена <math>y_{m}</math>, хотя обе компоненты могут быть вычислены одновременно почти независимо друг от друга.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно, как и в случае [[Прогонка, точечный вариант|классической монотонной прогонки]], представить состоящим из двух частей - прямого и обратного хода; однако их ширина вдвое больше, чем в монотонном случае. В прямом ходе ядро составляют две независимые последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в ядре остаются только две независимые последовательности операций умножения и сложения.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - прямой ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ. Обратный ход также может быть разложен на две макроединицы - обратный ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
[[file:VstrProgonkaInv.png|thumb|left|600px|Рисунок 2. Детальный граф алгоритма встречной прогонки с однократным вычислением обратных чисел при n=6 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>, <br />
<br />
<math>\eta_{1} = f_{N}/c_{N}</math>.<br />
<br />
2. Последовательно выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>.<br />
<br />
<br />
3. Инициализируется обратный ход:<br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>.<br />
<br />
4. Последовательно выполняются формулы обратного хода:<br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = m-1, m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}</math>, <math>\quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа (см. Рисунок 2). <br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения встречной прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n+2</math> делений,<br />
* <math>3n-2</math> сложений/вычитаний,<br />
* <math>3n-2</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности встречная прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
Информационный граф встречной прогонки представлен на рис.1. Как видно, он параллелен на прямом ходе со степенью не более 4, на обратном - со степенью не более 2. При выполнении прямого хода не только сами ветви, но и две подветви каждой из них (левая - разложение матрицы, правая - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правые подветви соответствуют обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход". Вариант с заменой делений сводится к графу, изображённому на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Обе ветви прямого хода выполняются одновременно для <math>N=2m-1</math>, т.е. для <math>n=2m</math>. Тогда для выполнения встречной прогонки требуется последовательно выполнить следующие ярусы:<br />
<br />
* <math>m+1</math> ярусов делений (в каждом из ярусов, кроме одного, по 4 деления, в одном - 2 деления),<br />
* по <math>2m-1</math> ярусов умножений и сложений/вычитаний (в <math>m-1</math> ярусах - по 4 операции, в <math>m-1</math> - по две, в одном - три операции).<br />
<br />
При классификации по высоте ЯПФ, таким образом, прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ его сложность будет равна <math>4</math>.<br />
<br />
При нечётном <math>n</math> ветви нельзя выполнить синхронно, поэтому предпочтительнее выбирать чётные размеры задач.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 4). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – тоже ''константа''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно встречная прогонка, как и монотонная, используется для решения СЛАУ с диагональным преобладанием. Тогда гарантируется устойчивость алгоритма.<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, ветви вычислений с нахождением коэффициентов можно не повторять. Тогда предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от нужд вычислений, возможны как разные способы хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов), так и разные способы хранения вычисляемых коэффициентов (на месте использованных уже элементов матрицы либо отдельно).<br />
<br />
Вот пример подпрограммы, реализующей встречную прогонку, где все элементы матрицы размещены в 1 массиве, причём соседние по строке - рядом, а вычисляемые коэффициенты хранятся на месте ненужных элементов матрицы. <br />
<br />
<source lang="fortran"><br />
subroutine vprogm (a,x,N) ! N=2m-1<br />
real a(3,0:N), x(0:N)<br />
<br />
m=(N+1)/2<br />
<br />
a(2,0)=1./a(2,0)<br />
a(2,N)=1./a(2,N)<br />
<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
a(1,N)=-a(1,N)*a(2,N) ! xi N<br />
<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
x(N)=x(N)*a(2,N) ! eta N<br />
<br />
do 10 i=1,m-1<br />
<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(2,N-i)=1./(a(2,N-i)+a(3,N-i)*a(2,N-i+1))<br />
<br />
a(3,i) = -a(3,i)*a(2,i) ! alpha i+1<br />
a(1,N-i) = -a(1,N-i)*a(2,N-i) ! xi N-i<br />
<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
x(N-i)=(x(N-i)-a(3,N-i)*x(N-i+1))* a(2,N-i) ! eta N-i<br />
<br />
10 continue<br />
<br />
a(1,0)=1./(1.-a(1,m)*a(3,m-1))<br />
bb=x(m-1)<br />
ee=x(m)<br />
x(m-1)=(bb+a(3,m-1)*ee))*a(1,0) ! y m-1<br />
x(m) = (ee+a(1,m)*bb)*a(1,0) ! y m<br />
<br />
do 20 i=m+1,N<br />
x(i)=a(1,i)*x(i-1)+x(i) ! y i<br />
x(N-i)=a(3,N-i)*x(N-i+1)+x(i) ! y N-i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, что нужны операциям, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом" и "нижнем правом" "углах" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, что бы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что, если две основные ветви реализовать по отдельности на разных ядрах, или же последовательно друг за другом, то будет излишней<ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)"</ref>. Из-за того, что данные, нужные для вычислений основных операций алгоритма прогонки, вычисляются в её процессе операциями, непосредственно предшествующими им, возможности вычислительных ядер процессоров по использованию своей суперскалярности практически сводятся на нет, что резко ухудшает эффективность исполнения прогонки даже на современных однопроцессорных и одноядерных системах. Именно поэтому в примере п.2.1 обе ветви (как прямого, так и обратного хода) сведены в общий цикл. Это, однако, даёт выигрыш только по сравнению с чересчур локальной монотонной прогонкой, ибо эффективность остаётся малой.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal2_1.png|thumb|center|700px|Рисунок 3. Встречная прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации встречной прогонки, точечный вариант. Данный профиль состоит из двух этапов (разделены желтой линией), на каждом из которых выполняются обращения к 4-м массивам. Обращения к разным массивам разделены зелеными горизонтальными линиями. Исходя из общего профиля, можно предположить, что на первом этапе ко всем массивам выполняются примерно одни и те же обращения, которые в каждом случае формируют две параллельно выполняемых последовательных перебора, один по возрастанию элементов массива, другой – по убыванию. <br />
<br />
На втором этапе для разных массивов профили отличаются, однако также напоминают обычные последовательные переборы. Если это верно, в общем данный профиль обладает высокой пространственной локальностью (обращения к соседним элементам следуют близко друг от друга) и достаточно низкой временной (повторное использование данных практически отсутствует). Рассмотрим профиль более детально и проверим, так ли это.<br />
<br />
На рис. 4 представлен выделенный зеленым фрагмент общего профиля. Здесь видно, что обращения к 4-м массивам обладают регулярной структурой, при этом действительно соседние элементы задействованы рядом. Однако сложно определить с точностью до отдельных обращений, как они устроены.<br />
<br />
<br />
[[file:tridiagonal2_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
На рис. 5 отдельно рассмотрены профили из рис. 4. При таком рассмотрении видно, что в целом все профили действительно состоят из последовательных переборов, только на каждом шаге перебора выполняется разное число обращений. В профиле на рис. 5а на каждом шаге задействован текущий и предыдущий элементы; в профиле на рис. 5б, видимо также задействован еще и следующий элемент. Профили 5в и 5г устроены чуть проще – только в одном переборе на каждом шаге выполняются два обращения.<br />
<br />
[[file:tridiagonal2_3.png|thumb|center|700px|Рисунок 5. Отдельные профили для разных массивов]]<br />
<br />
Исходя из полученной информации, можно сделать вывод, что локальность обращений даже лучше, чем мы предположили при рассмотрении общего профиля. Это связано с тем, что во многих случаях одни и те же данные используются подряд несколько раз, что повышает как пространственную, так и временную локальность.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal_other/tridiagonal_other.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). В целом значение daps для данной программы показывает достаточно высокую производительность работы с памятью, что соответствует нашим ожиданиям согласно приведенному выше описанию локальности.<br />
<br />
[[file:tridiagonal2_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рисунке 7 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Для этой программы оценка cvg очень высока, даже лучше, чем в случае теста Linpack. Здесь можно отметить довольно заметную разницу между двумя оценками, daps и cvg. Возможные причины такой разницы здесь могут быть те же, что и в случае обычной прогонки, которые описаны [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82#.D0.9B.D0.BE.D0.BA.D0.B0.D0.BB.D1.8C.D0.BD.D0.BE.D1.81.D1.82.D1.8C_.D0.B4.D0.B0.D0.BD.D0.BD.D1.8B.D1.85_.D0.B8_.D0.B2.D1.8B.D1.87.D0.B8.D1.81.D0.BB.D0.B5.D0.BD.D0.B8.D0.B9 здесь].<br />
<br />
[[file:tridiagonal2_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Встречная прогонка задумана изначально для случая, когда нужно найти только какую-то близкую к "середине" компоненту вектора решения, а остальные были не нужны (решение т.н. "частичной задачи"). При появлении параллельных компьютерных устройств оказалось, что у встречной прогонки есть небольшой ресурс параллелизма, и она убыстряет счёт, если её верхнюю и нижнюю ветви раскидать на 2 процессора. Однако для получения массового параллелизма встречная прогонка непригодна из-за низкой ширины своей [[Глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] (равной 4 на прямом и 2 - на обратном ходе).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой встречной прогонки, как почти непараллельного алгоритма, говорить нельзя в принципе, за исключением разве что двухпроцессорных систем. Понятие масштабируемости неприменимо, поскольку описываемый алгоритм не предполагает параллельной реализации.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.0634%;<br />
* максимальная эффективность реализации 0.0651%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Vstr perf.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Vstr eff.png|thumb|center|700px|Рисунок 9. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Мизерная эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiagonal_other/tridiagonal_other.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу последовательности алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Встречная прогонка - метод для архитектуры классического, фон-неймановского типа. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует взять какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный метод]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм встречной прогонки настолько прост, что, в тех случаях, когда он по каким-либо причинам понадобился, большинство использующих его исследователей-прикладников просто пишут соответствующий фрагмент программы самостоятельно. Поэтому встречную прогонку в пакеты программ обычно не включают.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с небольшим уровнем параллелизма]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%92%D1%81%D1%82%D1%80%D0%B5%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3277Встречная прогонка, точечный вариант2016-01-30T18:00:20Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Встречная прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-2</math><br />
| pf_height = <math>2.5n-1</math><br />
| pf_width = <math>4</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]]).<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Встречная прогонка''' - один из вариантов метода исключения неизвестных в приложении к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
'''Встречная прогонка''', как и [[Прогонка, точечный вариант|классическая монотонная]], заключается в исключении из уравнений неизвестных, однако, в отличие от монотонной, в ней исключение ведут одновременно с обоих "краёв" СЛАУ (верхнего и нижнего). В принципе, её можно считать простейшим вариантом [[Метод редукции|метода редукции]] (при m=1 и встречных направлениях монотонных прогонок).<br />
<br />
[[file:VstrProgonka.png|thumb|right|600px|Рисунок 1. Граф алгоритма встречной прогонки при n=14 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<math>m</math> здесь - номер уравнения, на котором "встречаются" две ветви прямого хода - "сверху" и "снизу". <br />
<br />
В приведенных обозначениях во встречной прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
"сверху":<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}, </math><br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1.<br />
<br />
</math><br />
<br />
и "снизу":<br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>,<br />
<br />
<math>\eta_{N} = f_{N}/c_{N}</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m.<br />
<br />
</math><br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}, \quad i = m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}, \quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
<br />
В обычно приводимых<ref name="SETKI" /> формулах встречной прогонки нет формулы для компоненты <math>y_{m-1}</math>, которая вычисляется позже в обратном ходе. Однако это удлиняет критический путь графа, откладывая вычисление <math>y_{m-1}</math> на момент, когда уже будет вычислена <math>y_{m}</math>, хотя обе компоненты могут быть вычислены одновременно почти независимо друг от друга.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно, как и в случае [[Прогонка, точечный вариант|классической монотонной прогонки]], представить состоящим из двух частей - прямого и обратного хода; однако их ширина вдвое больше, чем в монотонном случае. В прямом ходе ядро составляют две независимые последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в ядре остаются только две независимые последовательности операций умножения и сложения.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - прямой ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ. Обратный ход также может быть разложен на две макроединицы - обратный ход правой и левой прогонок, выполняемых "одновременно", т.е., параллельно друг другу, для разных половин СЛАУ.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
[[file:VstrProgonkaInv.png|thumb|left|600px|Рисунок 2. Детальный граф алгоритма встречной прогонки с однократным вычислением обратных чисел при n=6 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>, <br />
<br />
<math>\eta_{1} = f_{N}/c_{N}</math>.<br />
<br />
2. Последовательно выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>.<br />
<br />
<br />
3. Инициализируется обратный ход:<br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>.<br />
<br />
4. Последовательно выполняются формулы обратного хода:<br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = m-1, m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}</math>, <math>\quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа (см. Рисунок 2). <br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения встречной прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n+2</math> делений,<br />
* <math>3n-2</math> сложений/вычитаний,<br />
* <math>3n-2</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности встречная прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
Информационный граф встречной прогонки изображён на рис.1. Как видно, он параллелен на прямом ходе со степенью не более 4, на обратном - не более 2. При выполнении прямого хода не только ветви, но и две подветви каждой из ветвей (левая - разложение матрицы, правая - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правые подветви соответствуют обратному ходу. По рисунку видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход".<br />
Вариант с заменой делений даёт граф, который изображён на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Обе ветви прямого хода выполняются одновременно для <math>N=2m-1</math>, т.е. для <math>n=2m</math>. Тогда для выполнения встречной прогонки требуется последовательно выполнить следующие ярусы:<br />
<br />
* <math>m+1</math> ярусов делений (в каждом из ярусов, кроме одного, по 4 деления, в одном - 2 деления),<br />
* по <math>2m-1</math> ярусов умножений и сложений/вычитаний (в <math>m-1</math> ярусах - по 4 операции, в <math>m-1</math> - по две, в одном - три операции).<br />
<br />
При классификации по высоте ЯПФ, таким образом, прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ его сложность будет равна <math>4</math>.<br />
<br />
При нечётном <math>n</math> ветви нельзя выполнить синхронно, поэтому предпочтительнее выбирать чётные размеры задач.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 4). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – тоже ''константа''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно встречная прогонка, как и монотонная, используется для решения СЛАУ с диагональным преобладанием. Тогда гарантируется устойчивость алгоритма.<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, ветви вычислений с нахождением коэффициентов можно не повторять. Тогда предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от нужд вычислений, возможны как разные способы хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов), так и разные способы хранения вычисляемых коэффициентов (на месте использованных уже элементов матрицы либо отдельно).<br />
<br />
Вот пример подпрограммы, реализующей встречную прогонку, где все элементы матрицы размещены в 1 массиве, причём соседние по строке - рядом, а вычисляемые коэффициенты хранятся на месте ненужных элементов матрицы. <br />
<br />
<source lang="fortran"><br />
subroutine vprogm (a,x,N) ! N=2m-1<br />
real a(3,0:N), x(0:N)<br />
<br />
m=(N+1)/2<br />
<br />
a(2,0)=1./a(2,0)<br />
a(2,N)=1./a(2,N)<br />
<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
a(1,N)=-a(1,N)*a(2,N) ! xi N<br />
<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
x(N)=x(N)*a(2,N) ! eta N<br />
<br />
do 10 i=1,m-1<br />
<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(2,N-i)=1./(a(2,N-i)+a(3,N-i)*a(2,N-i+1))<br />
<br />
a(3,i) = -a(3,i)*a(2,i) ! alpha i+1<br />
a(1,N-i) = -a(1,N-i)*a(2,N-i) ! xi N-i<br />
<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
x(N-i)=(x(N-i)-a(3,N-i)*x(N-i+1))* a(2,N-i) ! eta N-i<br />
<br />
10 continue<br />
<br />
a(1,0)=1./(1.-a(1,m)*a(3,m-1))<br />
bb=x(m-1)<br />
ee=x(m)<br />
x(m-1)=(bb+a(3,m-1)*ee))*a(1,0) ! y m-1<br />
x(m) = (ee+a(1,m)*bb)*a(1,0) ! y m<br />
<br />
do 20 i=m+1,N<br />
x(i)=a(1,i)*x(i-1)+x(i) ! y i<br />
x(N-i)=a(3,N-i)*x(N-i+1)+x(i) ! y N-i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, что нужны операциям, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом" и "нижнем правом" "углах" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, что бы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что, если две основные ветви реализовать по отдельности на разных ядрах, или же последовательно друг за другом, то будет излишней<ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)"</ref>. Из-за того, что данные, нужные для вычислений основных операций алгоритма прогонки, вычисляются в её процессе операциями, непосредственно предшествующими им, возможности вычислительных ядер процессоров по использованию своей суперскалярности практически сводятся на нет, что резко ухудшает эффективность исполнения прогонки даже на современных однопроцессорных и одноядерных системах. Именно поэтому в примере п.2.1 обе ветви (как прямого, так и обратного хода) сведены в общий цикл. Это, однако, даёт выигрыш только по сравнению с чересчур локальной монотонной прогонкой, ибо эффективность остаётся малой.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal2_1.png|thumb|center|700px|Рисунок 3. Встречная прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации встречной прогонки, точечный вариант. Данный профиль состоит из двух этапов (разделены желтой линией), на каждом из которых выполняются обращения к 4-м массивам. Обращения к разным массивам разделены зелеными горизонтальными линиями. Исходя из общего профиля, можно предположить, что на первом этапе ко всем массивам выполняются примерно одни и те же обращения, которые в каждом случае формируют две параллельно выполняемых последовательных перебора, один по возрастанию элементов массива, другой – по убыванию. <br />
<br />
На втором этапе для разных массивов профили отличаются, однако также напоминают обычные последовательные переборы. Если это верно, в общем данный профиль обладает высокой пространственной локальностью (обращения к соседним элементам следуют близко друг от друга) и достаточно низкой временной (повторное использование данных практически отсутствует). Рассмотрим профиль более детально и проверим, так ли это.<br />
<br />
На рис. 4 представлен выделенный зеленым фрагмент общего профиля. Здесь видно, что обращения к 4-м массивам обладают регулярной структурой, при этом действительно соседние элементы задействованы рядом. Однако сложно определить с точностью до отдельных обращений, как они устроены.<br />
<br />
<br />
[[file:tridiagonal2_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
На рис. 5 отдельно рассмотрены профили из рис. 4. При таком рассмотрении видно, что в целом все профили действительно состоят из последовательных переборов, только на каждом шаге перебора выполняется разное число обращений. В профиле на рис. 5а на каждом шаге задействован текущий и предыдущий элементы; в профиле на рис. 5б, видимо также задействован еще и следующий элемент. Профили 5в и 5г устроены чуть проще – только в одном переборе на каждом шаге выполняются два обращения.<br />
<br />
[[file:tridiagonal2_3.png|thumb|center|700px|Рисунок 5. Отдельные профили для разных массивов]]<br />
<br />
Исходя из полученной информации, можно сделать вывод, что локальность обращений даже лучше, чем мы предположили при рассмотрении общего профиля. Это связано с тем, что во многих случаях одни и те же данные используются подряд несколько раз, что повышает как пространственную, так и временную локальность.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal_other/tridiagonal_other.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). В целом значение daps для данной программы показывает достаточно высокую производительность работы с памятью, что соответствует нашим ожиданиям согласно приведенному выше описанию локальности.<br />
<br />
[[file:tridiagonal2_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рисунке 7 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Для этой программы оценка cvg очень высока, даже лучше, чем в случае теста Linpack. Здесь можно отметить довольно заметную разницу между двумя оценками, daps и cvg. Возможные причины такой разницы здесь могут быть те же, что и в случае обычной прогонки, которые описаны [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82#.D0.9B.D0.BE.D0.BA.D0.B0.D0.BB.D1.8C.D0.BD.D0.BE.D1.81.D1.82.D1.8C_.D0.B4.D0.B0.D0.BD.D0.BD.D1.8B.D1.85_.D0.B8_.D0.B2.D1.8B.D1.87.D0.B8.D1.81.D0.BB.D0.B5.D0.BD.D0.B8.D0.B9 здесь].<br />
<br />
[[file:tridiagonal2_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Встречная прогонка задумана изначально для случая, когда нужно найти только какую-то близкую к "середине" компоненту вектора решения, а остальные были не нужны (решение т.н. "частичной задачи"). При появлении параллельных компьютерных устройств оказалось, что у встречной прогонки есть небольшой ресурс параллелизма, и она убыстряет счёт, если её верхнюю и нижнюю ветви раскидать на 2 процессора. Однако для получения массового параллелизма встречная прогонка непригодна из-за низкой ширины своей [[Глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] (равной 4 на прямом и 2 - на обратном ходе).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой встречной прогонки, как почти непараллельного алгоритма, говорить нельзя в принципе, за исключением разве что двухпроцессорных систем. Понятие масштабируемости неприменимо, поскольку описываемый алгоритм не предполагает параллельной реализации.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.0634%;<br />
* максимальная эффективность реализации 0.0651%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Vstr perf.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Vstr eff.png|thumb|center|700px|Рисунок 9. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Мизерная эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiagonal_other/tridiagonal_other.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу последовательности алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Встречная прогонка - метод для архитектуры классического, фон-неймановского типа. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует взять какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный метод]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм встречной прогонки настолько прост, что, в тех случаях, когда он по каким-либо причинам понадобился, большинство использующих его исследователей-прикладников просто пишут соответствующий фрагмент программы самостоятельно. Поэтому встречную прогонку в пакеты программ обычно не включают.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с небольшим уровнем параллелизма]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%92%D1%81%D1%82%D1%80%D0%B5%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3276Встречная прогонка, точечный вариант2016-01-30T17:14:21Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Встречная прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-2</math><br />
| pf_height = <math>2.5n-1</math><br />
| pf_width = <math>4</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]]).<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Встречная прогонка''' - один из вариантов метода исключения неизвестных в приложении к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
'''Встречная прогонка''', как и [[Прогонка, точечный вариант|классическая монотонная]], заключается в исключении из уравнений неизвестных, однако, в отличие от монотонной, в ней исключение ведут одновременно с обоих "краёв" СЛАУ (верхнего и нижнего). В принципе, её можно считать простейшим вариантом [[Метод редукции|метода редукции]] (при m=1 и встречных направлениях монотонных прогонок).<br />
<br />
[[file:VstrProgonka.png|thumb|right|600px|Рисунок 1. Граф алгоритма встречной прогонки при n=14 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<math>m</math> здесь - номер уравнения, на котором "встречаются" две ветви прямого хода - "сверху" и "снизу". <br />
<br />
В приведенных обозначениях во встречной прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
"сверху":<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}, </math><br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i}), \quad i = 1, 2, \cdots , m-1.<br />
<br />
</math><br />
<br />
и "снизу":<br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>,<br />
<br />
<math>\eta_{N} = f_{N}/c_{N}</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m.<br />
<br />
</math><br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}, \quad i = m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}, \quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
<br />
В обычно приводимых<ref name="SETKI" /> формулах встречной прогонки нет формулы для <math>y_{m-1}</math>, который вычисляется затем в обратном ходе. Однако это удлиняет критический путь графа, откладывая вычисление <math>y_{m-1}</math> на момент, когда уже будет вычислен <math>y_{m}</math>, хотя они могут вычисляться одновременно почти независимо друг от друга.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно, как и для [[Прогонка, точечный вариант|классической монотонной прогонки]], представить из двух частей - прямого и обратного хода, однако их ширина вдвое больше, чем в монотонном случае. В прямом ходе ядро составляют две независимые последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в ядре остаются только две независимые последовательности умножения и сложения.<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
Кроме представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - прямой ход правой и левой прогонок, выполняемых для разных половин СЛАУ, которые выполняются "одновременно", т.е., параллельно друг другу. Обратный ход также может быть разложен на две макроединицы - обратный ход правой и левой прогонок, выполняемых для разных половин СЛАУ, которые выполняются "одновременно", т.е., параллельно друг другу.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
[[file:VstrProgonkaInv.png|thumb|left|600px|Рисунок 2. Детальный граф алгоритма встречной прогонки с однократным вычислением обратных чисел при n=6 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\xi_{N} = a_{N}/c_{N}</math>, <br />
<br />
<math>\eta_{1} = f_{N}/c_{N}</math>.<br />
<br />
2. Последовательно выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , m-1</math>, <br />
<br />
<math>\xi_{i} = a_{i}/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>, <br />
<br />
<math>\eta_{i} = (f_{i}+b_{i}\eta_{i+1})/(c_{i}-b_{i}\xi_{i+1})</math>, <math>\quad i = N-1, N-2, \cdots , m</math>.<br />
<br />
<br />
3. Инициализируется обратный ход:<br />
<br />
<math>y_{m-1} = (\beta_{m}+\alpha_{m}\eta_{m})/(1-\xi_{m}\alpha_{m})</math>, <br />
<br />
<math>y_{m} = (\eta_{m}+\xi_{m}\beta_{m})/(1-\xi_{m}\alpha_{m})</math>.<br />
<br />
4. Последовательно выполняются формулы обратного хода:<br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = m-1, m-2, \cdots , 1, 0</math>, <br />
<br />
<math>y_{i+1} = \xi_{i+1} y_{i} + \eta_{i+1}</math>, <math>\quad i = m, m+1, \cdots , N-1</math>.<br />
<br />
В связи с тем, что почти во всех формулах есть пары делений на одно и то же выражение, можно поменять их на последовательности вычисления обратных чисел с последующими умножениями на ниx (см. Рисунок 2)<br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения встречной прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n+2</math> делений,<br />
* <math>3n-2</math> сложений/вычитаний,<br />
* <math>3n-2</math> умножений.<br />
<br />
При классификации по последовательной сложности, таким образом, прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
Информационный граф встречной прогонки изображён на рис.1. Как видно, он параллелен на прямом ходе со степенью не более 4, на обратном - не более 2. При выполнении прямого хода не только ветви, но и две подветви каждой из ветвей (левая - разложение матрицы, правая - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правые подветви соответствуют обратному ходу. По рисунку видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход".<br />
Вариант с заменой делений даёт граф, который изображён на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Обе ветви прямого хода выполняются одновременно для <math>N=2m-1</math>, т.е. для <math>n=2m</math>. Тогда для выполнения встречной прогонки требуется последовательно выполнить следующие ярусы:<br />
<br />
* <math>m+1</math> ярусов делений (в каждом из ярусов, кроме одного, по 4 деления, в одном - 2 деления),<br />
* по <math>2m-1</math> ярусов умножений и сложений/вычитаний (в <math>m-1</math> ярусах - по 4 операции, в <math>m-1</math> - по две, в одном - три операции).<br />
<br />
При классификации по высоте ЯПФ, таким образом, прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ его сложность будет равна <math>4</math>.<br />
<br />
При нечётном <math>n</math> ветви нельзя выполнить синхронно, поэтому предпочтительнее выбирать чётные размеры задач.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 4). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – тоже ''константа''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно встречная прогонка, как и монотонная, используется для решения СЛАУ с диагональным преобладанием. Тогда гарантируется устойчивость алгоритма.<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, ветви вычислений с нахождением коэффициентов можно не повторять. Тогда предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от нужд вычислений, возможны как разные способы хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов), так и разные способы хранения вычисляемых коэффициентов (на месте использованных уже элементов матрицы либо отдельно).<br />
<br />
Вот пример подпрограммы, реализующей встречную прогонку, где все элементы матрицы размещены в 1 массиве, причём соседние по строке - рядом, а вычисляемые коэффициенты хранятся на месте ненужных элементов матрицы. <br />
<br />
<source lang="fortran"><br />
subroutine vprogm (a,x,N) ! N=2m-1<br />
real a(3,0:N), x(0:N)<br />
<br />
m=(N+1)/2<br />
<br />
a(2,0)=1./a(2,0)<br />
a(2,N)=1./a(2,N)<br />
<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
a(1,N)=-a(1,N)*a(2,N) ! xi N<br />
<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
x(N)=x(N)*a(2,N) ! eta N<br />
<br />
do 10 i=1,m-1<br />
<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(2,N-i)=1./(a(2,N-i)+a(3,N-i)*a(2,N-i+1))<br />
<br />
a(3,i) = -a(3,i)*a(2,i) ! alpha i+1<br />
a(1,N-i) = -a(1,N-i)*a(2,N-i) ! xi N-i<br />
<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
x(N-i)=(x(N-i)-a(3,N-i)*x(N-i+1))* a(2,N-i) ! eta N-i<br />
<br />
10 continue<br />
<br />
a(1,0)=1./(1.-a(1,m)*a(3,m-1))<br />
bb=x(m-1)<br />
ee=x(m)<br />
x(m-1)=(bb+a(3,m-1)*ee))*a(1,0) ! y m-1<br />
x(m) = (ee+a(1,m)*bb)*a(1,0) ! y m<br />
<br />
do 20 i=m+1,N<br />
x(i)=a(1,i)*x(i-1)+x(i) ! y i<br />
x(N-i)=a(3,N-i)*x(N-i+1)+x(i) ! y N-i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, что нужны операциям, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом" и "нижнем правом" "углах" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, что бы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что, если две основные ветви реализовать по отдельности на разных ядрах, или же последовательно друг за другом, то будет излишней<ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)"</ref>. Из-за того, что данные, нужные для вычислений основных операций алгоритма прогонки, вычисляются в её процессе операциями, непосредственно предшествующими им, возможности вычислительных ядер процессоров по использованию своей суперскалярности практически сводятся на нет, что резко ухудшает эффективность исполнения прогонки даже на современных однопроцессорных и одноядерных системах. Именно поэтому в примере п.2.1 обе ветви (как прямого, так и обратного хода) сведены в общий цикл. Это, однако, даёт выигрыш только по сравнению с чересчур локальной монотонной прогонкой, ибо эффективность остаётся малой.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal2_1.png|thumb|center|700px|Рисунок 3. Встречная прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации встречной прогонки, точечный вариант. Данный профиль состоит из двух этапов (разделены желтой линией), на каждом из которых выполняются обращения к 4-м массивам. Обращения к разным массивам разделены зелеными горизонтальными линиями. Исходя из общего профиля, можно предположить, что на первом этапе ко всем массивам выполняются примерно одни и те же обращения, которые в каждом случае формируют две параллельно выполняемых последовательных перебора, один по возрастанию элементов массива, другой – по убыванию. <br />
<br />
На втором этапе для разных массивов профили отличаются, однако также напоминают обычные последовательные переборы. Если это верно, в общем данный профиль обладает высокой пространственной локальностью (обращения к соседним элементам следуют близко друг от друга) и достаточно низкой временной (повторное использование данных практически отсутствует). Рассмотрим профиль более детально и проверим, так ли это.<br />
<br />
На рис. 4 представлен выделенный зеленым фрагмент общего профиля. Здесь видно, что обращения к 4-м массивам обладают регулярной структурой, при этом действительно соседние элементы задействованы рядом. Однако сложно определить с точностью до отдельных обращений, как они устроены.<br />
<br />
<br />
[[file:tridiagonal2_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
На рис. 5 отдельно рассмотрены профили из рис. 4. При таком рассмотрении видно, что в целом все профили действительно состоят из последовательных переборов, только на каждом шаге перебора выполняется разное число обращений. В профиле на рис. 5а на каждом шаге задействован текущий и предыдущий элементы; в профиле на рис. 5б, видимо также задействован еще и следующий элемент. Профили 5в и 5г устроены чуть проще – только в одном переборе на каждом шаге выполняются два обращения.<br />
<br />
[[file:tridiagonal2_3.png|thumb|center|700px|Рисунок 5. Отдельные профили для разных массивов]]<br />
<br />
Исходя из полученной информации, можно сделать вывод, что локальность обращений даже лучше, чем мы предположили при рассмотрении общего профиля. Это связано с тем, что во многих случаях одни и те же данные используются подряд несколько раз, что повышает как пространственную, так и временную локальность.<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal_other/tridiagonal_other.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 6 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). В целом значение daps для данной программы показывает достаточно высокую производительность работы с памятью, что соответствует нашим ожиданиям согласно приведенному выше описанию локальности.<br />
<br />
[[file:tridiagonal2_daps.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки daps]]<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность. <br />
<br />
На рисунке 7 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Для этой программы оценка cvg очень высока, даже лучше, чем в случае теста Linpack. Здесь можно отметить довольно заметную разницу между двумя оценками, daps и cvg. Возможные причины такой разницы здесь могут быть те же, что и в случае обычной прогонки, которые описаны [http://algowiki-project.org/ru/%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82#.D0.9B.D0.BE.D0.BA.D0.B0.D0.BB.D1.8C.D0.BD.D0.BE.D1.81.D1.82.D1.8C_.D0.B4.D0.B0.D0.BD.D0.BD.D1.8B.D1.85_.D0.B8_.D0.B2.D1.8B.D1.87.D0.B8.D1.81.D0.BB.D0.B5.D0.BD.D0.B8.D0.B9 здесь].<br />
<br />
[[file:tridiagonal2_cvg.png|thumb|center|700px|Рисунок 7. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Встречная прогонка задумана изначально для случая, когда нужно найти только какую-то близкую к "середине" компоненту вектора решения, а остальные были не нужны (решение т.н. "частичной задачи"). При появлении параллельных компьютерных устройств оказалось, что у встречной прогонки есть небольшой ресурс параллелизма, и она убыстряет счёт, если её верхнюю и нижнюю ветви раскидать на 2 процессора. Однако для получения массового параллелизма встречная прогонка непригодна из-за низкой ширины своей [[Глоссарий#Ярусно-параллельная форма графа алгоритма|ЯПФ]] (равной 4 на прямом и 2 - на обратном ходе).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой встречной прогонки, как почти непараллельного алгоритма, говорить нельзя в принципе, за исключением разве что двухпроцессорных систем. Понятие масштабируемости неприменимо, поскольку описываемый алгоритм не предполагает параллельной реализации.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.0634%;<br />
* максимальная эффективность реализации 0.0651%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Vstr perf.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Vstr eff.png|thumb|center|700px|Рисунок 9. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Мизерная эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiagonal_other/tridiagonal_other.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу последовательности алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Встречная прогонка - метод для архитектуры классического, фон-неймановского типа. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует взять какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный метод]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм встречной прогонки настолько прост, что, в тех случаях, когда он по каким-либо причинам понадобился, большинство использующих его исследователей-прикладников просто пишут соответствующий фрагмент программы самостоятельно. Поэтому встречную прогонку в пакеты программ обычно не включают.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с небольшим уровнем параллелизма]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3268Прогонка, точечный вариант2016-01-28T07:08:53Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-7</math><br />
| pf_height = <math>5n-4</math><br />
| pf_width = <math>2</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Прогонка''' - один из вариантов метода исключения неизвестных, применяемого к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
<br />
<br />
Здесь рассматривается тот вариант прогонки, когда обрабатывается вся СЛАУ сверху вниз и обратно - так называемая '''правая прогонка'''. Суть метода состоит в исключении из уравнений неизвестных, сначала - сверху вниз - под диагональю, а затем - снизу вверх - над диагональю. Вариант, когда СЛАУ "проходится" наоборот, снизу вверх и обратно вниз - '''левая прогонка''' - принципиально ничем не отличается от рассматриваемого, поэтому нет смысла включать его отдельное описание.<br />
<br />
[[file:Progonka.png|thumb|right|200px|Рисунок 1. Граф алгоритма прогонки при n=8 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
В приведённых выше обозначениях в прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N</math>.<br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{N} = \beta_{N+1}</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = N-1, N-2, \cdots , 1, 0</math>.<br />
<br />
В литературе<ref name="SETKI" /> указывается, что данные формулы эквивалентны вычислению одного из вариантов <math>LU</math>-разложения матрицы системы с последующим решением двухдиагональных систем посредством прямой и обратной подстановок.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно считать состоящим из двух частей - прямого и обратного хода прогонки. В прямом ходе вычислительное ядро составляют последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в вычислительном ядре остаются только последовательности умножения и сложения. <br />
[[file:ProgonkaInv.png|thumb|left|420px|Рисунок 2. Детальный граф алгоритма прогонки с однократным вычислением обратных чисел при n=4 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым цветом выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - треугольного разложения матрицы и прямого хода решения двухдиагональной СЛАУ, которые выполняются "одновременно", т.е. параллельно друг другу. При этом решение двухдиагональной СЛАУ использует результаты треугольного разложения.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход прогонки:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0} </math><br />
<br />
2. Последовательно для всех i от 1 до N-1 выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>.<br />
<br />
3. Инициализируется обратный ход прогонки:<br />
<br />
<math>y_{N} = (f_{N}+a_{N}\beta_{N})/(c_{N}-a_{N}\alpha_{N})</math><br />
<br />
4. Последовательно для всех i с убыванием от N-1 до 0 выполняются формулы обратного хода:<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n-1</math> делений,<br />
* <math>3n-3</math> сложений/вычитаний,<br />
* <math>3n-3</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности, прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
<br />
Информационный граф прогонки представлен на рис.1. Как следует из анализа графа, он является практически последовательным, при выполнении прямого хода две ветви (левая - разложение матрицы, центральная - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правая ветвь соответствует обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход".<br />
Вариант с заменой делений сводится к графу, который изображён на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в параллельном варианте требуется последовательно выполнить следующие ярусы:<br />
<br />
* <math>n</math> ярусов делений (в каждом из ярусов, кроме одного, по 2 деления),<br />
* по <math>2n - 2</math> ярусов умножений и сложений/вычитаний (в n-1 ярусах - по 2 операции, в n-1 - по одной).<br />
<br />
Таким образом, при классификации по высоте ЯПФ, прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ её сложность будет равна <math>2</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 2). <br />
<br />
При этом вычислительная мощность алгоритма как отношение числа операций к суммарному объему входных и выходных данных также является ''константой''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно прогонка используется для решения СЛАУ с диагональным преобладанием. В этом случае гарантируется устойчивость алгоритма.<br />
<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, левую ветвь вычислений (см. рисунки с графом алгоритма) можно не повторять. Это связано с тем, что <math>LU</math>-разложение матрицы системы не нужно перевычислять. Тогда будет более предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от способа хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов) и способа хранения вычисляемых коэффициентов (на месте уже использованных элементов матрицы либо отдельно) возможны различные реализации алгоритма.<br />
<br />
Приведем пример подпрограммы на языке Fortran, реализующей прогонку, где все элементы матрицы хранятся в одном массиве, причём соседние элементы матричной строки размещаются рядом, а вычисляемые коэффициенты --- на месте элементов исходной матрицы. <br />
<br />
<source lang="fortran"><br />
subroutine progm (a,x,N)<br />
real a(3,0:N), x(0:N)<br />
a(2,0)=1./a(2,0)<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
do 10 i=1,N-1<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(3,i)=-a(3,i)*a(2,i) ! alpha i+1<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
10 continue<br />
a(2,N)=1./(a(2,N)+a(1,N)*a(2,N-1))<br />
x(N)=(x(N)-a(1,N)*x(N-1))*a(2,N) ! y N<br />
do 20 i=N-1,0,-1<br />
x(i)=a(3,i)*x(i+1)+x(i) ! y i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
В Сети имеется много простых реализаций метода, например в [https://ru.wikibooks.org/wiki/%D0%A0%D0%B5%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B8 Викиучебник - Реализации алгоритмов - Метод прогонки]<br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, которые необходимы для операций, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом углу" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, чтобы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что является даже излишней<ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)".</ref>. Из-за того, что данные, необходимые для выполнения основных операций прогонки, вычисляются в непосредственно предшествующим им операциях, возможность использования суперскалярности вычислительных ядер процессоров практически сводится на нет, что резко ухудшает эффективность выполнения прогонки даже на современных однопроцессорных и одноядерных системах.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal_1.png|thumb|center|700px|Рисунок 3. Прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации точечного варианта прогонки. Данный профиль состоит из обращений к 5 массивам – трем диагоналям матрицы, вектору правых частей и результирующему вектору. Исходя из общего профиля, можно увидеть, что программа состоит из двух этапов – на первом выполняется последовательный перебор элементов 4-х массивов, на втором – также последовательный перебор, только в обратном порядке.<br />
<br />
[[file:tridiagonal_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
Однако при более детальном рассмотрении можно заметить, что профиль устроен несколько сложнее (рис. 4). Для некоторых массивов на каждом шаге выполняется по несколько очень близких обращений, что приводит к улучшению как пространственной, так и временной локальности.<br />
<br />
Таким образом, общий профиль обладает высокой пространственной локальностью (поскольку здесь доминируют последовательные переборы элементов) и средней временной (поскольку некоторые элементы сразу используются повторно).<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal/tridiagonal.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 5 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Для данной программы значения daps является достаточно неожиданным. Согласно качественному анализу, локальность обращений в память в этом случае достаточно высока. Однако daps оценивает производительность работы с памятью ниже, чем для теста RandomAccess! Такое различие между локальностью и производительностью встречается нечасто.<br />
<br />
При детальном рассмотрении исходного кода выяснились две причины такого поведения. Во-первых, итерации основного цикла являются зависимыми по памяти, то есть на очередной итерации используются данные, посчитанные на предыдущей. Похоже, что в данном случае эта зависимость значительно снижает эффективность работы с памятью, в то время как с точки зрения локальности данный случай является достаточно неплохим.<br />
<br />
Также выяснилось, что одна из операций деления неожиданно существенно замедляет выполнение программы. При замене этой операции на умножение время выполнения уменьшается в 2.5 раза, при этом ассемблерный код двух вариантов программы выглядел идентично (за исключением очевидной замены одной команды деления на команду умножения). <br />
<br />
[[file:tridiagonal_daps.png|thumb|center|700px|Рисунок 5. Сравнение значений оценки daps]]<br />
<br />
Такие особенности программы не отражаются в ее свойствах локальности, что и привело к такому существенному разрыву между оценкой локальности и производительностью работы с памятью.<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, и тем лучше локальность алгоритма. <br />
<br />
На рисунке 6 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). В данном случае все предыдущие выводы подтверждаются – локальность оказывается достаточно высокой, что и было замечено согласно качественной оценке локальности.<br />
<br />
[[file:tridiagonal_cvg.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Как видно из анализа графа алгоритма, его (без существенных модификаций) практически невозможно распараллелить. Поэтому есть два способа использования прогонок для параллельных вычислительных систем: либо разбивать задачу, где используются прогонки, так, чтобы их было достаточно много, например, так, чтобы на каждую из прогонок приходился 1 процессор (1 ядро), либо использовать вместо прогонки её параллельные варианты (циклическую редукцию, последовательно-параллельные варианты и т.п.).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой прогонки, как полностью непараллельного алгоритма, говорить не имеет смысла. Однако необходимо отметить, что анализ масштабируемости параллельных вариантов прогонки должен проводиться относительно однопроцессорной реализации описанного классического варианта прогонки, а не относительно однопроцессорных расчетов для её параллельных вариантов.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.019%;<br />
* максимальная эффективность реализации 0.0255%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Tridiag Perf.png|thumb|center|700px|Рисунок 7. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Tridiag eff.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Малая эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiag/tridiagonal.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу существенно последовательной природы алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Прогонка - метод для архитектуры классического, фон-неймановского типа, непригодный даже для эффективной загрузки одноядерных систем, поддерживающих суперскалярность. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует использовать какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный вариант]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм прогонки является настолько простым, что, несмотря на его "дежурное" присутствие в стандартных пакетах программ решения задач линейной алгебры, большинство использующих его исследователей-прикладников часто пишут соответствующий фрагмент программы самостоятельно. Однако надо отметить, что, как правило, метод прогонки в пакетах реализуют не в его "чистом виде", а в виде пары "разложение на две двухдиагональные матрицы" и "решение СЛАУ с предварительно факторизованной трёхдиагональной матрицей". Так обстоит дело, например, в пакете SCALAPACK и его предшественниках.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с низким уровнем параллелизма]]<br />
<br />
<br />
[[En:Elimination method, pointwise version]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3267Прогонка, точечный вариант2016-01-27T17:08:41Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-7</math><br />
| pf_height = <math>5n-4</math><br />
| pf_width = <math>2</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Прогонка''' - один из вариантов метода исключения неизвестных, применяемого к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
<br />
<br />
Здесь рассматривается тот вариант прогонки, когда обрабатывается вся СЛАУ сверху вниз и обратно - так называемая '''правая прогонка'''. Суть метода состоит в исключении из уравнений неизвестных, сначала - сверху вниз - под диагональю, а затем - снизу вверх - над диагональю. Вариант, когда СЛАУ "проходится" наоборот, снизу вверх и обратно вниз - '''левая прогонка''' - принципиально ничем не отличается от рассматриваемого, поэтому нет смысла включать его отдельное описание.<br />
<br />
[[file:Progonka.png|thumb|right|200px|Рисунок 1. Граф алгоритма прогонки при n=8 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
В приведённых выше обозначениях в прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N</math>.<br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{N} = \beta_{N+1}</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = N-1, N-2, \cdots , 1, 0</math>.<br />
<br />
В литературе<ref name="SETKI" /> указывается, что данные формулы эквивалентны вычислению одного из вариантов <math>LU</math>-разложения матрицы системы с последующим решением двухдиагональных систем посредством прямой и обратной подстановок.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно считать состоящим из двух частей - прямого и обратного хода прогонки. В прямом ходе вычислительное ядро составляют последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в вычислительном ядре остаются только последовательности умножения и сложения. <br />
[[file:ProgonkaInv.png|thumb|left|420px|Рисунок 2. Детальный граф алгоритма прогонки с однократным вычислением обратных чисел при n=4 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым цветом выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - треугольного разложения матрицы и прямого хода решения двухдиагональной СЛАУ, которые выполняются "одновременно", т.е. параллельно друг другу. При этом решение двухдиагональной СЛАУ использует результаты треугольного разложения.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход прогонки:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0} </math><br />
<br />
2. Последовательно для всех i от 1 до N-1 выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>.<br />
<br />
3. Инициализируется обратный ход прогонки:<br />
<br />
<math>y_{N} = (f_{N}+a_{N}\beta_{N})/(c_{N}-a_{N}\alpha_{N})</math><br />
<br />
4. Последовательно для всех i с убыванием от N-1 до 0 выполняются формулы обратного хода:<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n-1</math> делений,<br />
* <math>3n-3</math> сложений/вычитаний,<br />
* <math>3n-3</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности, прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
<br />
Информационный граф прогонки представлен на рис.1. Как следует из анализа графа, он является практически последовательным, при выполнении прямого хода две ветви (левая - разложение матрицы, центральная - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правая ветвь соответствует обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход".<br />
Вариант с заменой делений сводится к графу, который изображён на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в параллельном варианте требуется последовательно выполнить следующие ярусы:<br />
<br />
* <math>n</math> ярусов делений (в каждом из ярусов, кроме одного, по 2 деления),<br />
* по <math>2n - 2</math> ярусов умножений и сложений/вычитаний (в n-1 ярусах - по 2 операции, в n-1 - по одной).<br />
<br />
Таким образом, при классификации по высоте ЯПФ, прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ её сложность будет равна <math>2</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 2). <br />
<br />
При этом вычислительная мощность алгоритма как отношение числа операций к суммарному объему входных и выходных данных также является ''константой''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно прогонка используется для решения СЛАУ с диагональным преобладанием. В этом случае гарантируется устойчивость алгоритма.<br />
<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, левую ветвь вычислений (см. рисунки с графом алгоритма) можно не повторять. Это связано с тем, что <math>LU</math>-разложение матрицы системы не нужно перевычислять. Тогда будет более предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от способа хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов) и способа хранения вычисляемых коэффициентов (на месте уже использованных элементов матрицы либо отдельно) возможны различные реализации алгоритма.<br />
<br />
Приведем пример подпрограммы на языке Fortran, реализующей прогонку, где все элементы матрицы хранятся в одном массиве, причём соседние элементы матричной строки размещаются рядом, а вычисляемые коэффициенты --- на месте элементов исходной матрицы. <br />
<br />
<source lang="fortran"><br />
subroutine progm (a,x,N)<br />
real a(3,0:N), x(0:N)<br />
a(2,0)=1./a(2,0)<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
do 10 i=1,N-1<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(3,i)=-a(3,i)*a(2,i) ! alpha i+1<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
10 continue<br />
a(2,N)=1./(a(2,N)+a(1,N)*a(2,N-1))<br />
x(N)=(x(N)-a(1,N)*x(N-1))*a(2,N) ! y N<br />
do 20 i=N-1,0,-1<br />
x(i)=a(3,i)*x(i+1)+x(i) ! y i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
В Сети имеется много простых реализаций метода, например в [https://ru.wikibooks.org/wiki/%D0%A0%D0%B5%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B8 Викиучебник - Реализации алгоритмов - Метод прогонки]<br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, которые необходимы для операций, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом углу" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, чтобы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что является даже излишней<ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)".</ref>. Из-за того, что данные, необходимые для выполнения основных операций прогонки, вычисляются в непосредственно предшествующим им операциях, возможность использования суперскалярности вычислительных ядер процессоров практически сводится на нет, что резко ухудшает эффективность выполнения прогонки даже на современных однопроцессорных и одноядерных системах.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal_1.png|thumb|center|700px|Рисунок 3. Прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации точечного варианта прогонки. Данный профиль состоит из обращений к 5 массивам – трем диагоналям матрицы, вектору правых частей и результирующему вектору. Исходя из общего профиля, можно увидеть, что программа состоит из двух этапов – на первом выполняется последовательный перебор элементов 4-х массивов, на втором – также последовательный перебор, только в обратном порядке.<br />
<br />
[[file:tridiagonal_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
Однако при более детальном рассмотрении можно заметить, что профиль устроен несколько сложнее (рис. 4). Для некоторых массивов на каждом шаге выполняется по несколько очень близких обращений, что приводит к улучшению как пространственной, так и временной локальности.<br />
<br />
Таким образом, общий профиль обладает высокой пространственной локальностью (поскольку здесь доминируют последовательные переборы элементов) и средней временной (поскольку некоторые элементы сразу используются повторно).<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal/tridiagonal.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 5 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Для данной программы значения daps является достаточно неожиданным. Согласно качественному анализу, локальность обращений в память в этом случае достаточно высока. Однако daps оценивает производительность работы с памятью ниже, чем для теста RandomAccess! Такое различие между локальностью и производительностью встречается нечасто.<br />
<br />
При детальном рассмотрении исходного кода выяснились две причины такого поведения. Во-первых, итерации основного цикла являются зависимыми по памяти, то есть на очередной итерации используются данные, посчитанные на предыдущей. Похоже, что в данном случае эта зависимость значительно снижает эффективность работы с памятью, в то время как с точки зрения локальности данный случай является достаточно неплохим.<br />
<br />
Также выяснилось, что одна из операций деления неожиданно существенно замедляет выполнение программы. При замене этой операции на умножение время выполнения уменьшается в 2.5 раза, при этом ассемблерный код двух вариантов программы выглядел идентично (за исключением очевидной замены одной команды деления на команду умножения). <br />
<br />
[[file:tridiagonal_daps.png|thumb|center|700px|Рисунок 5. Сравнение значений оценки daps]]<br />
<br />
Такие особенности программы не отражаются в ее свойствах локальности, что и привело к такому существенному разрыву между оценкой локальности и производительностью работы с памятью.<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, и тем лучше локальность алгоритма. <br />
<br />
На рисунке 6 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). В данном случае все предыдущие выводы подтверждаются – локальность оказывается достаточно высокой, что и было замечено согласно качественной оценке локальности.<br />
<br />
[[file:tridiagonal_cvg.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Как видно из анализа графа алгоритма, его (без существенных модификаций) практически невозможно распараллелить. Поэтому есть два способа использования прогонок для параллельных вычислительных систем: либо разбивать задачу, где используются прогонки, так, чтобы их было достаточно много, например, так, чтобы на каждую из прогонок приходился 1 процессор (1 ядро), либо использовать вместо прогонки её параллельные варианты (циклическую редукцию, последовательно-параллельные варианты и т.п.).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой прогонки, как полностью непараллельного алгоритма, говорить не имеет смысла. Однако необходимо отметить, что анализ масштабируемости параллельных вариантов прогонки должен проводиться относительно однопроцессорной реализации описанного классического варианта прогонки, а не относительно однопроцессорных расчетов для её параллельных вариантов.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведенных экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.019%;<br />
* максимальная эффективность реализации 0.0255%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Tridiag Perf.png|thumb|center|700px|Рисунок 7. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Tridiag eff.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Малая эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiag/tridiagonal.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу существенно последовательной природы алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Прогонка - метод для архитектуры классического, фон-неймановского типа, непригодный даже для эффективной загрузки одноядерных систем, поддерживающих суперскалярность. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует использовать какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный вариант]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм прогонки является настолько простым, что, несмотря на его "дежурное" присутствие в стандартных пакетах программ решения задач линейной алгебры, большинство использующих его исследователей-прикладников часто пишут соответствующий фрагмент программы самостоятельно. Однако надо отметить, что, как правило, метод прогонки в пакетах реализуют не в его "чистом виде", а в виде пары "разложение на две двухдиагональные матрицы" и "решение СЛАУ с предварительно факторизованной трёхдиагональной матрицей". Так обстоит дело, например, в пакете SCALAPACK и его предшественниках.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с низким уровнем параллелизма]]</div>Икрамовhttps://xn--80aecvaldz.xn--80ahdrnmvk.xn--p1ai/w/ru/index.php?title=%D0%9F%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B0,_%D1%82%D0%BE%D1%87%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82&diff=3266Прогонка, точечный вариант2016-01-27T15:38:14Z<p>Икрамов: </p>
<hr />
<div>{{algorithm<br />
| name = Прогонка для трёхдиагональной матрицы,<br /> точечный вариант<br />
| serial_complexity = <math>8n-7</math><br />
| pf_height = <math>5n-4</math><br />
| pf_width = <math>2</math><br />
| input_data = <math>4n-2</math><br />
| output_data = <math>n</math><br />
}}<br />
<br />
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]])<br />
<br />
== Свойства и структура алгоритма ==<br />
<br />
=== Общее описание алгоритма ===<br />
<br />
'''Прогонка''' - один из вариантов метода исключения неизвестных, применяемого к решению СЛАУ<ref name="VOLA">Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.</ref><ref name="MIV">Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.: Наука, 1984.</ref> вида <math>Ax = b</math>, где <br />
<br />
{{Шаблон:Трёхдиагональная СЛАУ}}<br />
<br />
<br />
Здесь рассматривается тот вариант прогонки, когда обрабатывается вся СЛАУ сверху вниз и обратно - так называемая '''правая прогонка'''. Суть метода состоит в исключении из уравнений неизвестных, сначала - сверху вниз - под диагональю, а затем - снизу вверх - над диагональю. Вариант, когда СЛАУ "проходится" наоборот, снизу вверх и обратно вниз - '''левая прогонка''' - принципиально ничем не отличается от рассматриваемого, поэтому нет смысла включать его отдельное описание.<br />
<br />
[[file:Progonka.png|thumb|right|200px|Рисунок 1. Граф алгоритма прогонки при n=8 без отображения входных и выходных данных. '''/''' - деление, '''''f''''' - операция '''''a+bc''''' или '''''a-bc'''''.]]<br />
<br />
=== Математическое описание алгоритма ===<br />
<br />
В приведённых выше обозначениях в прогонке сначала выполняют её прямой ход - вычисляют коэффициенты<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0}</math>, <br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N-1</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>, <math>\quad i = 1, 2, \cdots , N</math>.<br />
<br />
после чего вычисляют решение с помощью обратного хода<br />
<br />
<math>y_{N} = \beta_{N+1}</math>, <br />
<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>, <math>\quad i = N-1, N-2, \cdots , 1, 0</math>.<br />
<br />
В литературе<ref name="SETKI" /> указывается, что данные формулы эквивалентны вычислению одного из вариантов <math>LU</math>-разложения матрицы системы с последующим решением двухдиагональных систем посредством прямой и обратной подстановок.<br />
<br />
=== Вычислительное ядро алгоритма ===<br />
<br />
Вычислительное ядро алгоритма можно считать состоящим из двух частей - прямого и обратного хода прогонки. В прямом ходе вычислительное ядро составляют последовательности операций деления, умножения и сложения/вычитания. В обратном ходе в вычислительном ядре остаются только последовательности умножения и сложения. <br />
[[file:ProgonkaInv.png|thumb|left|420px|Рисунок 2. Детальный граф алгоритма прогонки с однократным вычислением обратных чисел при n=4 без отображения входных и выходных данных. '''inv''' - вычисление обратного числа, '''mult''' - операция перемножения чисел. Серым цветом выделены операции, повторяющиеся при замене правой части СЛАУ]]<br />
<br />
=== Макроструктура алгоритма ===<br />
<br />
В дополнение к возможности представления макроструктуры алгоритма как совокупности прямого и обратного хода, прямой ход также может быть разложен на две макроединицы - треугольного разложения матрицы и прямого хода решения двухдиагональной СЛАУ, которые выполняются "одновременно", т.е. параллельно друг другу. При этом решение двухдиагональной СЛАУ использует результаты треугольного разложения.<br />
<br />
=== Схема реализации последовательного алгоритма ===<br />
<br />
Последовательность исполнения метода следующая: <br />
<br />
1. Инициализируется прямой ход прогонки:<br />
<br />
<math>\alpha_{1} = b_{0}/c_{0}</math>,<br />
<br />
<math>\beta_{1} = f_{0}/c_{0} </math><br />
<br />
2. Последовательно для всех i от 1 до N-1 выполняются формулы прямого хода:<br />
<br />
<math>\alpha_{i+1} = b_{i}/(c_{i}-a_{i}\alpha_{i})</math>, <br />
<br />
<math>\beta_{i+1} = (f_{i}+a_{i}\beta_{i})/(c_{i}-a_{i}\alpha_{i})</math>.<br />
<br />
3. Инициализируется обратный ход прогонки:<br />
<br />
<math>y_{N} = (f_{N}+a_{N}\beta_{N})/(c_{N}-a_{N}\alpha_{N})</math><br />
<br />
4. Последовательно для всех i с убыванием от N-1 до 0 выполняются формулы обратного хода:<br />
<math>y_{i} = \alpha_{i+1} y_{i+1} + \beta_{i+1}</math>.<br />
<br />
В формулах прямого хода присутствуют пары делений на одно и то же выражение. Их можно заменить вычислением обратных чисел и последующим умножением на эти числа.<br />
<br />
=== Последовательная сложность алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в последовательном (наиболее быстром) варианте требуется:<br />
<br />
* <math>2n-1</math> делений,<br />
* <math>3n-3</math> сложений/вычитаний,<br />
* <math>3n-3</math> умножений.<br />
<br />
Таким образом, при классификации по последовательной сложности, прогонка относится к алгоритмам ''с линейной сложностью''.<br />
<br />
=== Информационный граф ===<br />
<br />
Информационный граф прогонки представлен на рис.1. Как следует из анализа графа, он является практически последовательным, при выполнении прямого хода две ветви (левая - разложение матрицы, центральная - решение первой из двухдиагональных систем) могут выполняться параллельно друг другу. Правая ветвь соответствует обратному ходу. Из рисунка видно, что не только математическая суть обработки элементов векторов, но даже структура графа алгоритма и направление потоков данных в нём вполне соответствуют названию "обратный ход".<br />
Вариант с заменой делений сводится к графу, который изображён на рис.2.<br />
<br />
=== Описание ресурса параллелизма алгоритма ===<br />
<br />
Для выполнения прогонки в трёхдиагональной СЛАУ из n уравнений с n неизвестными в параллельном варианте требуется последовательно выполнить следующие ярусы:<br />
<br />
* <math>n</math> ярусов делений (в каждом из ярусов, кроме одного, по 2 деления),<br />
* по <math>2n - 2</math> ярусов умножений и сложений/вычитаний (в n-1 ярусах - по 2 операции, в n-1 - по одной).<br />
<br />
Таким образом, при классификации по высоте ЯПФ, прогонка относится к алгоритмам со сложностью <math>O(n)</math>. При классификации по ширине ЯПФ её сложность будет равна <math>2</math>.<br />
<br />
=== Входные и выходные данные алгоритма ===<br />
<br />
'''Входные данные''': трёхдиагональная матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>b</math> (элементы <math>b_{i}</math>).<br />
<br />
'''Выходные данные''': вектор <math>x</math> (элементы <math>x_{i}</math>).<br />
<br />
'''Объём выходных данных''': <math>n</math>.<br />
<br />
=== Свойства алгоритма ===<br />
<br />
Соотношение последовательной и параллельной сложности, как хорошо видно, является ''константой'' (причём менее 2). <br />
<br />
При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – также является ''константой''.<br />
<br />
Алгоритм в рамках выбранной версии полностью детерминирован.<br />
<br />
Обычно прогонка используется для решения СЛАУ с диагональным преобладанием. В этом случае гарантируется устойчивость алгоритма.<br />
<br />
В случае, когда требуется решение нескольких СЛАУ с одной и той же матрицей, левую ветвь вычислений (см. рисунки с графом алгоритма) можно не повторять. Это связано с тем, что <math>LU</math>-разложение матрицы системы не нужно перевычислять. Тогда будет более предпочтителен вариант с заменой делений.<br />
<br />
== Программная реализация алгоритма ==<br />
<br />
=== Особенности реализации последовательного алгоритма ===<br />
<br />
В зависимости от способов хранения матрицы СЛАУ (в виде одного массива с 3 строками или в виде 3 разных массивов) и способов хранения вычисляемых коэффициентов (на месте использованных уже элементов матрицы либо отдельно) возможны различные реализации алгоритма.<br />
<br />
Приведем пример подпрограммы на языке Fortran, реализующей прогонку, где все элементы матрицы таким образом, в одном массиве, причём соседние по строке - рядом, а вычисляемые коэффициенты размещаются на месте исходных элементов матрицы. <br />
<br />
<source lang="fortran"><br />
subroutine progm (a,x,N)<br />
real a(3,0:N), x(0:N)<br />
a(2,0)=1./a(2,0)<br />
a(3,0)=-a(3,0)*a(2,0) ! alpha 1<br />
x(0)=x(0)*a(2,0) ! beta 1<br />
do 10 i=1,N-1<br />
a(2,i)=1./(a(2,i)+a(1,i)*a(2,i-1))<br />
a(3,i)=-a(3,i)*a(2,i) ! alpha i+1<br />
x(i)=(x(i)-a(1,i)*x(i-1))*a(2,i) ! beta i+1<br />
10 continue<br />
a(2,N)=1./(a(2,N)+a(1,N)*a(2,N-1))<br />
x(N)=(x(N)-a(1,N)*x(N-1))*a(2,N) ! y N<br />
do 20 i=N-1,0,-1<br />
x(i)=a(3,i)*x(i+1)+x(i) ! y i<br />
20 continue<br />
return<br />
end<br />
</source><br />
<br />
В Сети имеется много простых реализаций метода, например в [https://ru.wikibooks.org/wiki/%D0%A0%D0%B5%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%BE%D0%B2/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BF%D1%80%D0%BE%D0%B3%D0%BE%D0%BD%D0%BA%D0%B8 Викиучебник - Реализации алгоритмов - Метод прогонки]<br />
<br />
=== Локальность данных и вычислений ===<br />
<br />
Как видно по графу алгоритма, локальность данных по пространству хорошая - все аргументы, которые необходимы для операций, вычисляются "рядом". Однако по времени локальность вычислений не столь хороша. Если данные задачи не помещаются в кэш, то вычисления в "верхнем левом углу" СЛАУ будут выполняться с постоянными промахами кэша. Отсюда может следовать одна из рекомендаций прикладникам, использующим прогонку, - нужно организовать все вычисления так, чтобы прогонки были "достаточно коротки" для помещения данных в кэш.<br />
<br />
При этом, однако, прогонка относится к таким последовательным алгоритмам, в которых локальность вычислений настолько велика, что является даже излишней<ref>Фролов А.В., Антонов А.С., Воеводин Вл.В., Теплов А.М. Сопоставление разных методов решения одной задачи по методике проекта Algowiki // Подана на конференцию "Параллельные вычислительные технологии (ПаВТ'2016)".</ref>. Из-за того, что данные, необходимые для вычислений основных операций алгоритма прогонки, вычисляются в её процессе операциями, непосредственно предшествующими им, возможности вычислительных ядер процессоров по использованию своей [[Глоссарий#Суперскалярность|суперскалярности]] практически сводятся на нет, что резко ухудшает эффективность выполнения прогонки даже на современных однопроцессорных и одноядерных системах.<br />
<br />
==== Локальность реализации алгоритма ====<br />
===== Структура обращений в память и качественная оценка локальности =====<br />
<br />
[[file:tridiagonal_1.png|thumb|center|700px|Рисунок 3. Прогонка, точечный вариант. Общий профиль обращений в память]]<br />
<br />
На рис. 3 представлен профиль обращений в память для реализации точечного варианта прогонки. Данный профиль состоит из обращений к 5 массивам – трем диагоналям матрицы, вектору правых чисел и результирующему вектору. Исходя из общего профиля, можно увидеть, что программа состоит из двух этапов – на первом выполняется последовательный перебор элементов 4-х массивов, на втором – также последовательный перебор, только в обратном порядке.<br />
<br />
[[file:tridiagonal_2.png|thumb|center|500px|Рисунок 4. Фрагмент общего профиля (выделенный зеленым цветом на рис. 3)]]<br />
<br />
Однако при более детальном рассмотрении можно заметить, что профиль устроен несколько сложнее (рис. 4). Для некоторых массивов на каждом шаге выполняется по несколько очень близких обращений, что приводит к улучшению как пространственной, так и временной локальности.<br />
<br />
Таким образом, общий профиль обладает высокой пространственной локальностью (поскольку здесь доминируют последовательные переборы элементов) и средней временной (поскольку некоторые элементы сразу используются повторно).<br />
<br />
===== Количественная оценка локальности =====<br />
<br />
Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/benchmarks/tridiagonal/tridiagonal.h здесь] (функция Kernel). Условия запуска описаны [http://git.parallel.ru/shvets.pavel.srcc/locality/blob/master/README.md здесь].<br />
<br />
Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.<br />
<br />
На рисунке 5 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Для данной программы значения daps является достаточно неожиданным. Согласно качественному анализу, локальность обращений в память в этом случае достаточно высока. Однако daps оценивает производительность работы с памятью значение ниже, чем для теста RandomAccess! Такое различие между локальностью и производительностью встречается нечасто.<br />
<br />
При детальном рассмотрении исходного кода выяснились две причины такого поведения. Во-первых, итерации основного цикла являются зависимыми по памяти, то есть на очередной итерации используются данные, посчитанные на предыдущей. Похоже, что в данном случае эта зависимость значительно снижает эффективность работы с памятью, в то время как с точки зрения локальности данный случай является достаточно неплохим.<br />
<br />
Также выяснилось, что одна из операций деления неожиданно существенно замедляет выполнение программы. При замене этой операции на умножение время выполнения уменьшается в 2.5 раза, при этом ассемблерный код двух вариантов программы выглядел идентично (за исключением очевидной замены одной команды деления и команду умножения). <br />
<br />
[[file:tridiagonal_daps.png|thumb|center|700px|Рисунок 5. Сравнение значений оценки daps]]<br />
<br />
Такие особенности программы не отражаются в ее свойствах локальности, что и привело к такому существенному разрыву между оценкой локальности и производительностью работы с памятью.<br />
<br />
Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, и тем лучше локальность алгоритма. <br />
<br />
На рисунке 6 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). В данном случае все предыдущие выводы подтверждаются – локальность оказывается достаточно высокой, что и было замечено согласно качественной оценке локальности.<br />
<br />
[[file:tridiagonal_cvg.png|thumb|center|700px|Рисунок 6. Сравнение значений оценки cvg]]<br />
<br />
=== Возможные способы и особенности параллельной реализации алгоритма ===<br />
<br />
Как видно из анализа графа алгоритма, его (без существенных модификаций) практически невозможно распараллелить. Поэтому есть два способа использования прогонок для параллельных вычислительных систем: либо разбивать задачу, где используются прогонки, так, чтобы их было достаточно много, чтобы на каждую из прогонок приходился 1 процессор (1 ядро), либо использовать вместо прогонки её параллельные варианты (циклическую редукцию, последовательно-параллельные варианты и т.п.).<br />
<br />
=== Масштабируемость алгоритма и его реализации ===<br />
<br />
О масштабируемости самой прогонки, как полностью непараллельного алгоритма, говорить не имеет смысла. Однако необходимо отметить, что анализ масштабируемости параллельных вариантов прогонки должен проводиться относительно однопроцессорной реализации описанного классического варианта прогонки, а не относительно однопроцессорных расчетов для её параллельных вариантов.<br />
<br />
Проведём исследование масштабируемости реализации алгоритма согласно [[Scalability methodology|методике]]. Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].<br />
<br />
Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма: <br />
<br />
* число процессоров 1;<br />
* размер области [10240 : 1024000] с шагом 10240.<br />
<br />
В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:<br />
<br />
* минимальная эффективность реализации 0.019%;<br />
* максимальная эффективность реализации 0.0255%.<br />
<br />
На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации алгоритма в зависимости от изменяемых параметров запуска.<br />
<br />
[[file:Tridiag Perf.png|thumb|center|700px|Рисунок 7. Реализация алгоритма. Изменение производительности в зависимости от размера вектора.]]<br />
[[file:Tridiag eff.png|thumb|center|700px|Рисунок 8. Реализация алгоритма. Изменение эффективности в зависимости от размера вектора.]]<br />
<br />
Малая эффективность, по-видимому, связана с избыточной локальностью, описанной в разделе о [[#Локальность данных и вычислений|локальности данных и вычислений]].<br />
<br />
Исследованная [http://git.algowiki-project.org/Teplov/Scalability/blob/master/tridiag/tridiagonal.h реализация алгоритма]<br />
<br />
=== Динамические характеристики и эффективность реализации алгоритма ===<br />
<br />
В силу последовательности алгоритма и его избыточной локальности, исследование его динамических характеристик представляется малоценным и потому не проводилось.<br />
<br />
=== Выводы для классов архитектур ===<br />
<br />
Прогонка - метод для архитектуры классического, фон-неймановского типа, непригодный даже для эффективной загрузки одноядерных систем, поддерживающих суперскалярность. Для распараллеливания решения СЛАУ с трёхдиагональной матрицей следует использовать какой-либо её параллельный заменитель, например, наиболее распространённую [[Метод циклической редукции|циклическую редукцию]], или уступающий ей по критическому пути графа, но имеющий более регулярную структуру графа новый [[Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками|последовательно-параллельный вариант]].<br />
<br />
=== Существующие реализации алгоритма ===<br />
<br />
Алгоритм прогонки является настолько простым, что, несмотря на его "дежурное" присутствие в стандартных пакетах программ решения задач линейной алгебры, большинство использующих его исследователей-прикладников часто пишут соответствующий фрагмент программы самостоятельно. Однако надо отметить, что, как правило, метод прогонки в пакетах реализуют не в его "чистом виде", а в виде пары "разложение на две двухдиагональные матрицы" и "решение СЛАУ с предварительно факторизаванной трёхдиагональной матрицей", как, например, в пакете SCALAPACK и его предшественниках.<br />
<br />
== Литература ==<br />
<br />
<references /><br />
<br />
[[Категория:Законченные статьи]]<br />
[[Категория:Алгоритмы с низким уровнем параллелизма]]</div>Икрамов