Алговики - Вклад [ru]

Перемножение плотных неособенных матриц (последовательный вещественный вариант)

2026-01-19T10:24:41Z

ASA: /* Последовательная сложность алгоритма */

{{level-a}}

{{algorithm
| name = Перемножение плотных неособенных матриц
| serial_complexity = <math>2mnl</math>
| pf_height = <math>n</math>
| pf_width = <math>2ml</math>
| input_data = <math>mn+nl</math>
| output_data = <math>ml</math>
}}

Основные авторы описания: [[Участник:Frolov|А.В.Фролов]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Перемножение матриц''' - одна из базовых задач в алгоритмах линейной алгебры, широко применяется в большом количестве разных методов.
Здесь мы рассмотрим умножение <math>C = AB</math>  плотных неособенных матриц (последовательный вещественный вариант), то есть тот вариант, где никак не используются ни специальный вид матрицы, ни ассоциативные свойства операции сложения<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>.

=== Математическое описание алгоритма ===

Исходные данные: плотная матрица <math>A</math> (элементы <math>a_{ij}</math>), плотная матрица <math>B</math> (элементы <math>b_{ij}</math>).

Вычисляемые данные: плотная матрица <math>C</math> (элементы <math>c_{ij}</math>).

Формулы метода:
:<math>
\begin{align}
c_{ij} = \sum_{k = 1}^{n} a_{ik} b_{kj}, \quad i \in [1, m], \quad j \in [1, l].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро перемножения плотных неособенных матриц можно составить из множественных (всего их <math>l</math>) вычислений умножения матрицы <math>A</math> на столбцы матрицы <math>B</math>, или (при более детальном рассмотрении), из множественных (всего их <math>ml</math>) скалярных произведений строк матрицы <math>A</math> на столбцы матрицы <math>B</math>:

:<math>\sum_{k = 1}^{n} a_{ik} b_{kj}</math>

в режиме накопления или без него, в зависимости от требований задачи.

=== Макроструктура алгоритма ===

Как уже записано в [[#Вычислительное ядро алгоритма|описании ядра алгоритма]], основную часть умножения матриц составляют множественные (всего <math>ml</math>) вычисления скалярных произведений строк матрицы <math>A</math> на столбцы матрицы <math>B</math>

:<math>\sum_{k = 1}^{n} a_{ik} b_{kj}</math>

в режиме накопления или без него.

=== Схема реализации последовательного алгоритма ===

Для всех <math>i</math> от <math>1</math> до <math>m</math> и для всех <math>j</math> от <math>1</math> до <math>l</math> выполняются

:<math>c_{ij} = \sum_{k = 1}^{n} a_{ik} b_{kj}</math>

Особо отметим, что вычисления сумм вида <math>\sum_{k = 1}^{n} a_{ik} b_{kj}</math> производят в режиме накопления прибавлением к текущему (временному) значению вычисляемого элемента матрицы <math>c_{ij}</math> произведений <math>a_{ik} b_{kj}</math> для <math>k</math> от <math>1</math> до <math>n</math>, '''c возрастанием''' <math>k</math>, вначале все элементы инициализируются нулями. При суммировании "по убыванию" общая схема принципиально не отличается и потому нами не рассматривается. Другие порядки выполнения суммирования приводят к изменению параллельных свойств алгоритма и будут рассматриваться нами в отдельных описаниях.

=== Последовательная сложность алгоритма ===

Для умножения двух квадратных матриц порядка <math>n</math> (т.е. при <math>m=n=l</math>) в последовательном (наиболее быстром) варианте требуется:

* по <math>n^3</math> умножений и сложений.

Для умножения матрицы размером <math>m</math> строк на <math>n</math> столбцов на матрицу размером <math>n</math> строк на <math>l</math> столбцов в последовательном (наиболее быстром) варианте требуется:

* по <math>mnl</math> умножений и сложений.

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности (или использования функции вроде DPROD в Фортране), что ещё больше увеличивает затраты во времени, требуемом для выполнения умножения матриц.

При классификации по последовательной сложности, таким образом, алгоритм умножения матриц относится к алгоритмам ''с кубической сложностью'' (в случае неквадратных матриц - с ''трилинейной'').

=== Информационный граф ===

Опишем [[глоссарий#Граф алгоритма|граф алгоритма]] как аналитически, так и в виде рисунка.

Граф алгоритма умножения плотных матриц состоит из одной группы вершин, расположенной в целочисленных узлах трёхмерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>m</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>l</math>, принимая все целочисленные значения;
* <math>k</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>k = 1</math> константа <math>0</math>;
** при <math>k > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j, k-1</math>;
*<math>b</math> — элемент ''входных данных'', а именно <math>a_{ik}</math>;
*<math>c</math> - элемент ''входных данных'' <math>b_{kj}</math>;

Результат срабатывания операции является:
* при <math>k < n</math> - ''промежуточным данным'' алгоритма;
* при <math>k = n</math> - выходным данным <math>c_{ij}</math>.

[[file:Dense mtrx product.png|thumb|center|800px|Рисунок 1. Умножение плотных матриц с отображением выходных данных]]
 

<center>
Интерактивное изображение графа алгоритма без входных и выходных данных для случая перемножения двух квадратных матриц порядка 3 и 4
</center>

{{#widget:Algoviewer
|url=mat_mul/mat_mul_3/Algo_view_matrix3.html
|width=600
|height=400
|border=1
}}

{{#widget:Algoviewer
|url=mat_mul/mat_mul_4/Algo_view_matrix4.html
|width=600
|height=400
|border=1
}}

=== Ресурс параллелизма алгоритма ===

Для алгоритма умножения квадратных матриц порядка n в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n^2</math> операций).

Для умножения матрицы размером <math>m</math> строк на <math>n</math> столбцов на матрицу размером <math>n</math> строк на <math>l</math> столбцов в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>ml</math> операций).

При этом использование режима накопления требует совершения умножений и вычитаний в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матриц относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''квадратичной'' (для квадратных матриц) или ''билинейной'' (для матриц общего вида).

=== Входные и выходные данные алгоритма ===

'''Входные данные''': матрица <math>A</math> (элементы <math>a_{ij}</math>), матрица <math>B</math> (элементы <math>b_{ij}</math>)).

'''Объём входных данных''': <math>mn+nl</math>

'''Выходные данные''': матрица <math>C</math> (элементы <math>c_{ij}</math>).

'''Объём выходных данных''': <math>ml</math>

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''квадратичным'' или ''билинейным'' (отношение кубической или трилинейной к линейной).

При этом вычислительная мощность алгоритма умножения матриц, как отношение числа операций к суммарному объему входных и выходных данных – ''линейно''.

При этом алгоритм умножения матриц полностью детерминирован. Использование другого порядка выполнения ассоциативных операций в данной версии нами не рассматривается.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте алгоритм умножения матриц на Фортране можно записать так:

<source lang="fortran">

DO I = 1, M
DO J = 1, L
S = 0.
DO K = 1, N
S = S + DPROD(A(I,K), B(K,J))
END DO
C(I, J) = S
END DO
END DO
</source>
При этом для реализации режима накопления переменная <math>S</math> должна быть двойной точности.

=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Законченные статьи]]
[[Категория:Матричные операции]]

[[En:Dense matrix multiplication (serial version for real matrices)]]

Глоссарий

2026-01-16T10:48:03Z

ASA: /* Параллельная сложность */

=== Временна́я локальность ===
'''Временная локальность''' (temporal locality) показывает среднее число обращений по одному адресу в память за время исполнения всей программы.

=== Вычислительная мощность ===
'''Вычислительная мощность''' (computational power) алгоритма равна отношению числа операций к суммарному объему входных и выходных данных. Она показывает, сколько операций приходится на единицу переданных данных.

=== Вычислительная сложность ===
'''Вычислительная сложность''' (computational complexity) задачи <math>W</math> - количество основных вычислительных шагов лучшего последовательного алгоритма, необходимых для решения задачи на одном процессоре. Вычислительная сложность обычно является некоторой функцией от размера входных данных рассматриваемого алгоритма.

=== Вычислительное ядро ===
'''Вычислительное ядро''' (computational kernel) алгоритма - это часть алгоритма, на которую приходится основное время его работы.

=== Граф алгоритма ===
'''Граф алгоритма''' (algorithm graph) - это ориентированный ациклический мультиграф, вершины которого соответствуют операциям алгоритма, а дуги - передаче данных между ними. Вершины графа алгоритма могут соединяться несколькими дугами, в частности когда в качестве разных аргументов одной и той же операции используется одна и та же величина. Граф алгоритма почти всегда является параметризованным графом. В частности, его вид часто зависит от входных данных.

Граф алгоритма используется как удобное представление алгоритма при исследовании его структуры, ресурса параллелизма, а также других свойств. Его можно рассматривать как параметризованную информационную историю. Он сохраняет её информативность, при этом обладая компактностью за счёт параметризации. Разработана методика построения графа алгоритма по исходному тексту программ.

''См. также: [https://ru.wikipedia.org/wiki/Граф_алгоритма Граф алгоритма]''

=== Детерминированность ===
'''Детерминированность''' (determinacy) алгоритма - постоянство структуры вычислительного процесса. Алгоритм выдаёт уникальный и предопределённый результат для заданных входных данных.

=== Избыточные вычисления ===
'''Избыточные вычисления''' (redundant computation) - понятие, которое используют для обозначения разных явлений в параллельных вычислениях.
* В понимании графовой модели вычислений это такие операции, результаты которых нигде не будут использованы. Такие операции появляются в результате ошибок программирования и подлежат удалению из алгоритма.
* Распространено также понимание термина как вычисления, которые ''выполняются более одного раза'' или на более чем одном процессоре. Избыточные вычисления могут использоваться либо в многопроцессорных системах, чтобы минимизировать обмены, либо при недостаточном объеме памяти для хранения всех вычисленных значений.
* Кроме этого, избыточными вычислениями можно назвать те операции, которые появляются при замене последовательного алгоритма на специальный параллельный. У последнего алгоритма больше операций, но меньше длина критического пути графа, этим и обосновывается замена алгоритма. В таком случае реальное ускорение параллельного алгоритма следует считать не в сравнении с однопроцессорной реализацией его самого, а в сравнении с реализацией последовательного алгоритма. В нашей открытой энциклопедии свойств алгоритмов именно последнее толкование термина применяется в категории [[http://algowiki-project.org/ru/%D0%9A%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D1%8F:%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D1%8B_%D1%81_%D0%B8%D0%B7%D0%B1%D1%8B%D1%82%D0%BE%D1%87%D0%BD%D1%8B%D0%BC%D0%B8_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F%D0%BC%D0%B8 Алгоритмы с избыточными вычислениями]].

=== Конечный параллелизм ===
'''Конечный параллелизм''' (finite parallelism) - параллелизм, определяемый информационной независимостью некоторых фрагментов в тексте программы.

=== Координатный параллелизм ===
'''Координатный параллелизм''' (coordinate parallelism) - частный случай [[#Скошенный паралеллизм|скошенного параллелизма]], определяемый циклами ParDO, при котором информационно независимые вершины лежат на гиперплоскостях, перпендикулярных одной из координатных осей.

=== Локальность (обращений в память) ===
'''Локальность (обращений в память)''' (locality) - общее предположение о свойстве работы программ с данными. Заключается в том, что при обращении к некоторым данным велика вероятность, что в скором времени произойдет повторное обращение к тем же или расположенным рядом данным. В частности, на основе данного предположения построена работа кэш-памяти. Различают [[#Локальность команд|локальность команд]] и [[#Локальность использования данных|локальность использования данных]], а также [[#Пространственная локальность|пространственную]] и [[#Временна́я локальность|временну́ю]] локальность.

=== Локальность вычислений ===
'''Локальность вычислений''' (computation locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - команды, из которых состоят программы.

=== Локальность использования данных ===
'''Локальность использования данных''' (data locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - все данные, с которыми оперируют программы во время выполнения.

=== Массовый параллелизм ===
'''Массовый параллелизм''' (mass parallelism) - параллелизм, определяемый информационной независимостью итераций циклов программы.

=== Масштабируемость ===
'''Масштабируемость''' (scalability) - способность системы увеличивать свою [[#Производительность|производительность]] при добавлении ресурсов (обычно аппаратных). Система называется масштабируемой, если она способна увеличивать производительность пропорционально дополнительным ресурсам. Масштабируемость можно оценить через отношение прироста производительности системы к приросту используемых ей ресурсов. Чем ближе это отношение к единице, тем масштабируемость лучше.

=== Масштабируемость параллельной программы ===
'''Масштабируемость параллельной программы''' (scalability of parallel program) определяется относительно конкретного компьютера и показывает, как изменяются динамические характеристики данной программы в зависимости от её [[#Параметры запуска|параметров запуска]].

Наиболее часто рассматриваемые разновидности масштабируемости параллельных программ: [[#Сильная масштабируемость|сильная масштабируемость]], [[#Масштабируемость вширь|масштабируемость вширь]], [[#Слабая масштабируемость|слабая масштабируемость]].

Если при одновременном увеличении числа процессоров <math>p</math> и [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> [[#Эффективность распараллеливания|эффективность распараллеливания]] <math>E</math> остаётся прежней, то данную программу на данном компьютере можно считать масштабируемой.

=== Масштабируемость вширь ===

'''Масштабируемость вширь''' (wide scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> при фиксированном числе процессоров <math>p</math> (<math>p=const</math>).

=== Оценка daps ===
'''Оценка daps''' (daps estimation) - предлагаемая оценка производительности работы с памятью в программе, равна числу выполненных обращений в память в секунду. Построена по аналогии с распространенной оценкой производительности программ — flop/s (floating point operations per second), которая оценивает число операций с плавающей запятой в секунду. Оценка flop/s показывает производительность всей программы с точки зрения производимых вычислений; в то время как daps оценивает производительность программы с точки зрения работы с памятью.

Данная оценка является машинно-зависимой — она вычисляется на основе данных аппаратных датчиков. Служит для проверки точности результатов разрабатываемых нами машинно-независимых оценок локальности, таких как [[#Оценка cvg|cvg]].

=== Оценка cvg ===
'''Оценка cvg''' (cvg estimation) - предлагаемая машинно-независимая оценка локальности обращений в памяти в программе. Рассмотрим первые N обращений в потоке («окно»), и затем разобьем ось ординат (виртуальный адрес обращений) на отрезки длины K – [X .. X+K], [X+K .. X+2K], …, [Y-K .. Y], где [X, Y] - диапазон выделенной под рассматриваемые массивы виртуальной памяти. Таким образом, область построения профиля делится на прямоугольники размером KxN.

Физический смысл такого прямоугольника (при правильно подобранных значениях K и N) заключается в том, что любая последовательность точек, попавших в один прямоугольник, всегда обладает хорошей как пространственной, так и временно́й локальностью. Действительно, при достаточно малом значении K в прямоугольник попадает небольшой локальный фрагмент виртуальной памяти, а, значит, соседние обращения по памяти в любом случае будут расположены близко друг относительно друга. А временна́я локальность внутри прямоугольника не может быть больше N, поэтому при достаточно малом N можно обеспечить и хорошую временну́ю локальность. Однако не имеет смысла брать слишком малые значения для K и N, поскольку в этом случае теряется полезная информация о хорошей локальности не попавшего в прямоугольник фрагмента профиля.

Выделим те прямоугольники, в которые попадает хотя бы одно обращение. Чем меньше таких прямоугольников – тем больше точек попало в одни и те же прямоугольники, тем в общем случае лучше локальность. Пример разбиения профиля на прямоугольники приведен на рис. 1. Здесь для иллюстрации выделено три «окна», в каждом по 6 точек. В первом «окне» всего 2 непустых прямоугольника и самая хорошая локальность их трех вариантов. Во втором «окне» задействованы все 4 прямоугольника, при этом в каждый попало лишь по 1-2 обращения. Третье «окно» включает 3 непустых прямоугольника, и в этом варианте локальность лучше, чем у второго «окна», но хуже, чем у первого.

[[file:cvg.png|thumb|center|500px|Рисунок 1. Пример разбиения профиля на прямоугольники]]

Теперь сдвинем «окно» на одно обращение вправо и снова определим непустые прямоугольники; и так далее для всего профиля обращений. В результате мы получим «покрытие» – последовательность непустых прямоугольников, в каждом из которых содержится хотя бы по одному обращению, т.е. по одной точке профиля.

Далее для каждого «окна» посчитаем число таких непустых прямоугольников (обозначим это число как rects), в результате чего получим последовательность положительных натуральных чисел. Затем посчитаем среднее значение для данной последовательности. Полученное значение назовем оценкой локальности на основе метода покрытий и будем обозначать cvg.

Значение K было решено выбрать равным 64 байт, поскольку это соответствует длине кэш-строки, а в пределах одной кэш-строки пространственная локальность заведомо достаточно хорошая. При этом если запрошено одно значение, то в кэш-память подтянется вся строка из 64 байт, то есть все данные, соответствующие определенному прямоугольнику.

Оптимальное значение N для разных программ может существенно отличаться, но для выполнения корректного сравнения оценка было решено выбрать единственное значение N. Было проведено сравнение результатов для различных значений N, и в результате эмпирическим путем было получено, что наилучшие результаты достигаются при N=512.

=== Параллельная сложность ===
'''Параллельная сложность''' (parallel complexity) алгоритма - количество основных вычислительных шагов, за которое можно выполнить данный алгоритм в предположении доступности неограниченного числа необходимых ресурсов (процессоров, функциональных устройств, вычислительных узлов, ядер и т.п.). Параллельная сложность алгоритма понимается как высота канонической [[#Ярусно-параллельная форма графа алгоритма|ярусно-параллельной формы]].

=== Параметры запуска ===
'''Параметры запуска''' (startup parameters) параллельной программы - параметры, оказывающие влияние на работу параллельной программы, но не влияющие на реализацию алгоритма работы программы (например: размер задачи, число процессов, размер блока, число процессов на узел и т.п.)
Параметры запуска по типу можно разделить на:
# Аппаратные - относящиеся к параметрам аппаратуры.
# Системные - относящиеся к операционной системе, используемым библиотекам и системным приложениям и их настройкам.
# Программные - влияющие на логику работы программы или вычислительную сложность задачи, различные параметры, предусмотренные разработчиком.

=== Пиковая производительность ===
'''Пиковая производительность''' (peak performance) <math>R_{peak}</math> — теоретический предел [[#Производительность|производительности]] для данного компьютера. Пиковая производительность компьютера вычисляется как сумма пиковых производительностей всех входящих в него вычислительных устройств (процессоров, ускорителей и т.д.). Под пиковой производительностью каждого из вычислительных устройств понимают количество операций в секунду, которые он смог бы теоретически выполнять при полной загрузке всех своих компонент. Надо понимать, что пиковая производительность не только суперкомпьютера, но и, например, любого отдельно взятого процессора является величиной сугубо теоретической, недостижимой на практике.

=== Последовательная сложность ===
'''Последовательная сложность''' (serial complexity) алгоритма - число операций, которые нужно выполнить при его последовательном исполнении.

=== Пространственная локальность ===
'''Пространственная локальность''' (spatial locality) отражает среднее расстояние между несколькими последовательными обращениями в память.

=== Производительность ===
'''Производительность''' (performance) <math>R=Op/t</math> определяется количеством операций <math>Op</math>, производимых данным компьютером в единицу времени. Для высокопроизводительных вычислений в расчёт обычно берут количество арифметических операций в секунду над вещественными данными, представленными в форме с плавающей точкой. Эта величина называется Flop/s (от английского Floating point operations per second).

Поскольку современные суперкомпьютеры производят очень много таких операций в секунду, их производительность измеряется кратными величинами, такими как GFlop/s (<math>10^9</math> операций в секунду), TFlop/s (<math>10^{12}</math>), PFlop/s (<math>10^{15}</math>), EFlop/s (<math>10^{18}</math>). Производительность мощнейших современных суперкомпьютеров уже измеряется в EFlop/s, идёт обсуждение построения систем зеттафлопсного (порядка <math>10^{21}</math> операций в секунду) уровня производительности.

=== Профиль обращений в память ===
'''Профиль обращений в память''' (memory access profile) - последовательность выполняемых в программе обращений к данным в памяти, расположенных в том порядке, в котором обращения происходят в программе.

Обозначим профиль обращений A = {A1,A2,…,AN}, где N – общее число всех обращений при выполнении программы. Номер i элемента Ai в профиле указывает, каким по счету является данное обращение от начала выполнения программы. Любой элемент Аi будем называть элементом профиля. Запись Аi означает, что данный элемент имеет i-й порядковый номер; данная запись не содержит никакой информации о том, к какой переменной в программе происходит данное обращение.

На данный момент рассматриваются в основном обращения к массивам, поскольку они являются самыми распространенными структурами данных. Каждое обращение представлено в профиле некоторым числом. Таким образом, профиль обращений представляет собой последовательность чисел, которыми могут являться: 1) индексы элементов массива (если профиль строится только для одного массива); 2) виртуальные адреса, к которым происходят обращения; 3) физические адреса. Естественно, в рамках одного профиля используются числа только одного типа.

Подобные профили обращений содержат огромное количество полезной информации о работе программы с памятью. Интересным средством анализа профилей является изучение их визуального представления. Пример визуализации профиля приведен на рис. 2. Ось абсцисс — порядковый номер обращения в память, т. е. чем больше номер, тем позже произошло данное обращение. По оси ординат отложен виртуальный адрес памяти, к которому произошло обращение. Каждая точка — это отдельное обращение в память.

[[file:locality_profile.png|thumb|center|500px|Рисунок 2. Визуализация профиля обращений в память]]

Подобные графики сами по себе могут предоставить интересную информацию о поведении программы. Выделенная на рисунке область 1 (и остальные, аналогичные ей области), скорее всего, обладает хорошей пространственной и временно́й локальностью. Хорошей пространственной — потому что используются только соседние по памяти данные; хорошей временно́й — поскольку повторные обращения к этим данным происходят часто. Область 2 также обладает хорошей пространственной локальностью, поскольку соседние обращения происходят к соседним элементам, однако плохой временно́й локальностью, поскольку повторных обращений к данным просто нет.

Помимо получения данных о локальности, исследование визуализации профилей обращений в память является хорошим средством для понимания и определения шаблонов обращений.

Подобный анализ на основе визуализации профиля обращений помогает понять общее поведение программы, однако он не может дать точной количественной информации о взаимодействии программ с памятью. Для этих целей разрабатываются оценки локальности, такие как [[#Оценка daps|daps]] и [[#Оценка cvg|cvg]].

=== Реальная производительность ===
'''Реальная производительность''' (real performance) <math>R_{max}</math> — [[#Производительность|производительность]] данного компьютера на конкретном приложении.

=== Сильная масштабируемость ===
'''Сильная масштабируемость''' (strong scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи (<math>W=const</math>).

=== Скошенный параллелизм ===
'''Скошенный параллелизм''' (skewed parallelism) - параллелизм в пространстве итераций, определяемый поверхностями уровней разверток. Ряд исследователей этим термином пользуется только для случая, когда параллелизм не является [[#Координатный паралеллизм|координатным]].

=== Слабая масштабируемость ===
'''Слабая масштабируемость''' (weak scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи в пересчёте на один процессор (<math>W/p=const</math>).

=== Степень исхода ===
'''Степень исхода''' (degree of a vertex) вершины информационного графа - количество исходящих из данной вершины информационных дуг.

=== Суперлинейное ускорение ===
'''Суперлинейное ускорение''' (super linear speedup) или '''сверхлинейное ускорение''' программы - это [[#Ускорение|ускорение]], превосходящие число используемых процессоров <math>p</math>. Чаще всего объясняется эффектом от использования кэш-памяти.

=== Суперскалярность ===
'''Суперскалярность''' — архитектура вычислительного ядра, позволяющая загружать работой множество исполнительных блоков. Планирование исполнения команд является динамическим и осуществляется самим ядром.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Суперскалярность Суперскалярность]''

=== Ускорение ===
'''Ускорение''' (speedup) работы программы <math>S = T_1/T_p</math> - отношение времени работы некоторой программы на одном процессоре <math>T_1</math> ко времени работы распараллеленной программы при использовании <math>p</math> процессоров <math>T_p</math>.

=== Устойчивость ===
'''Устойчивость''' (stability) алгоритма - свойство алгоритма не увеличивать или увеличивать в незначительной степени погрешности, допущенной в начальных данных или допускаемой при вычислениях.

=== Эквивалентное возмущение ===
'''Эквивалентное возмущение''' (equivalent perturbation) алгоритма - одна из характеристик влияния ошибок округления промежуточных операций на отклонение решения, получаемого алгоритмом, от настоящего решения задачи. Выражается косвенно: влияние ошибок на ответ считается таким же, как если бы данные были заданы с ошибкой, выражаемой эквивалентным возмущением, но задача с такими данными была бы решена точно.

=== Эквивалентное преобразование ===
'''Эквивалентное преобразование''' (equivalent transformaion) программы - такое преобразование, при котором в точности сохраняется результат выполнения программы.

=== Эффективность распараллеливания ===
'''Эффективность распараллеливания''' (parallel efficiency) <math>E = S/p</math> (где <math>S</math> - полученное [[#Ускорение|ускорение]] работы программы, а <math>p</math> - число используемых процессоров) определяет среднюю долю времени выполнения параллельного алгоритма, в течение которого процессоры реально используются для решения задачи. Получение большого ускорения за счёт использования большого числа процессоров зачастую приводит к снижению эффективности.

Если не брать в расчёт эффект [[#Суперлинейное ускорение|суперлинейного ускорения]], то ускорение выполнения программы не превосходит числа используемых процессоров <math>p</math>, а значит, эффективность распараллеливания не превосходит единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о меньшем количестве накладных расходов, а значит, о лучшем качестве распараллеливания программы.

=== Эффективность реализации ===

'''Эффективность реализации''' (implementation efficiency) программы <math>R_{max}/R_{peak}</math> определяется как отношение [[#Реальная производительность|реальной производительности]] <math>R_{max}</math> к [[#Пиковая производительность|пиковой производительности]] <math>R_{peak}</math>.

Поскольку пиковая производительность недостижима на практике, эффективность реализации программы всегда меньше единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о том, что более эффективно задействованы ресурсы компьютера.

=== Ярусно-параллельная форма графа алгоритма ===

'''Ярусно-параллельная форма (ЯПФ)''' (parallel form) - это представление графа алгоритма, в котором:
* все вершины разбиты на перенумерованные подмножества ярусов;
* начальная вершина каждой дуги расположена на ярусе с номером меньшим, чем номер яруса конечной вершины;
* между вершинами, расположенными на одном ярусе, не может быть дуг.

''Высота'' ЯПФ - это число ярусов.
Ширина яруса - число вершин, расположенных на ярусе.
''Ширина'' ЯПФ - это максимальная ширина ярусов в ЯПФ.

'''Канонической ярусно-параллельной формой''' называется ЯПФ, высота которой на единицу больше длины критического пути, а все входные вершины расположены на первом ярусе. Для заданного графа его каноническая ЯПФ единственна. Высота канонической ЯПФ соответствует [[#Параллельная сложность|параллельной сложности]] алгоритма.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Ярусно-параллельная_форма_графа Ярусно-параллельная форма графа]''
* ''[https://ru.wikipedia.org/wiki/Критический_путь_графа Критический путь графа]''

[[En:Glossary]]

[[Категория:Статьи в работе]]
[[Категория:Algowiki:Справка]]

Глоссарий

2026-01-16T09:50:26Z

ASA: /* Вычислительная сложность */

=== Временна́я локальность ===
'''Временная локальность''' (temporal locality) показывает среднее число обращений по одному адресу в память за время исполнения всей программы.

=== Вычислительная мощность ===
'''Вычислительная мощность''' (computational power) алгоритма равна отношению числа операций к суммарному объему входных и выходных данных. Она показывает, сколько операций приходится на единицу переданных данных.

=== Вычислительная сложность ===
'''Вычислительная сложность''' (computational complexity) задачи <math>W</math> - количество основных вычислительных шагов лучшего последовательного алгоритма, необходимых для решения задачи на одном процессоре. Вычислительная сложность обычно является некоторой функцией от размера входных данных рассматриваемого алгоритма.

=== Вычислительное ядро ===
'''Вычислительное ядро''' (computational kernel) алгоритма - это часть алгоритма, на которую приходится основное время его работы.

=== Граф алгоритма ===
'''Граф алгоритма''' (algorithm graph) - это ориентированный ациклический мультиграф, вершины которого соответствуют операциям алгоритма, а дуги - передаче данных между ними. Вершины графа алгоритма могут соединяться несколькими дугами, в частности когда в качестве разных аргументов одной и той же операции используется одна и та же величина. Граф алгоритма почти всегда является параметризованным графом. В частности, его вид часто зависит от входных данных.

Граф алгоритма используется как удобное представление алгоритма при исследовании его структуры, ресурса параллелизма, а также других свойств. Его можно рассматривать как параметризованную информационную историю. Он сохраняет её информативность, при этом обладая компактностью за счёт параметризации. Разработана методика построения графа алгоритма по исходному тексту программ.

''См. также: [https://ru.wikipedia.org/wiki/Граф_алгоритма Граф алгоритма]''

=== Детерминированность ===
'''Детерминированность''' (determinacy) алгоритма - постоянство структуры вычислительного процесса. Алгоритм выдаёт уникальный и предопределённый результат для заданных входных данных.

=== Избыточные вычисления ===
'''Избыточные вычисления''' (redundant computation) - понятие, которое используют для обозначения разных явлений в параллельных вычислениях.
* В понимании графовой модели вычислений это такие операции, результаты которых нигде не будут использованы. Такие операции появляются в результате ошибок программирования и подлежат удалению из алгоритма.
* Распространено также понимание термина как вычисления, которые ''выполняются более одного раза'' или на более чем одном процессоре. Избыточные вычисления могут использоваться либо в многопроцессорных системах, чтобы минимизировать обмены, либо при недостаточном объеме памяти для хранения всех вычисленных значений.
* Кроме этого, избыточными вычислениями можно назвать те операции, которые появляются при замене последовательного алгоритма на специальный параллельный. У последнего алгоритма больше операций, но меньше длина критического пути графа, этим и обосновывается замена алгоритма. В таком случае реальное ускорение параллельного алгоритма следует считать не в сравнении с однопроцессорной реализацией его самого, а в сравнении с реализацией последовательного алгоритма. В нашей открытой энциклопедии свойств алгоритмов именно последнее толкование термина применяется в категории [[http://algowiki-project.org/ru/%D0%9A%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D1%8F:%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D1%8B_%D1%81_%D0%B8%D0%B7%D0%B1%D1%8B%D1%82%D0%BE%D1%87%D0%BD%D1%8B%D0%BC%D0%B8_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F%D0%BC%D0%B8 Алгоритмы с избыточными вычислениями]].

=== Конечный параллелизм ===
'''Конечный параллелизм''' (finite parallelism) - параллелизм, определяемый информационной независимостью некоторых фрагментов в тексте программы.

=== Координатный параллелизм ===
'''Координатный параллелизм''' (coordinate parallelism) - частный случай [[#Скошенный паралеллизм|скошенного параллелизма]], определяемый циклами ParDO, при котором информационно независимые вершины лежат на гиперплоскостях, перпендикулярных одной из координатных осей.

=== Локальность (обращений в память) ===
'''Локальность (обращений в память)''' (locality) - общее предположение о свойстве работы программ с данными. Заключается в том, что при обращении к некоторым данным велика вероятность, что в скором времени произойдет повторное обращение к тем же или расположенным рядом данным. В частности, на основе данного предположения построена работа кэш-памяти. Различают [[#Локальность команд|локальность команд]] и [[#Локальность использования данных|локальность использования данных]], а также [[#Пространственная локальность|пространственную]] и [[#Временна́я локальность|временну́ю]] локальность.

=== Локальность вычислений ===
'''Локальность вычислений''' (computation locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - команды, из которых состоят программы.

=== Локальность использования данных ===
'''Локальность использования данных''' (data locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - все данные, с которыми оперируют программы во время выполнения.

=== Массовый параллелизм ===
'''Массовый параллелизм''' (mass parallelism) - параллелизм, определяемый информационной независимостью итераций циклов программы.

=== Масштабируемость ===
'''Масштабируемость''' (scalability) - способность системы увеличивать свою [[#Производительность|производительность]] при добавлении ресурсов (обычно аппаратных). Система называется масштабируемой, если она способна увеличивать производительность пропорционально дополнительным ресурсам. Масштабируемость можно оценить через отношение прироста производительности системы к приросту используемых ей ресурсов. Чем ближе это отношение к единице, тем масштабируемость лучше.

=== Масштабируемость параллельной программы ===
'''Масштабируемость параллельной программы''' (scalability of parallel program) определяется относительно конкретного компьютера и показывает, как изменяются динамические характеристики данной программы в зависимости от её [[#Параметры запуска|параметров запуска]].

Наиболее часто рассматриваемые разновидности масштабируемости параллельных программ: [[#Сильная масштабируемость|сильная масштабируемость]], [[#Масштабируемость вширь|масштабируемость вширь]], [[#Слабая масштабируемость|слабая масштабируемость]].

Если при одновременном увеличении числа процессоров <math>p</math> и [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> [[#Эффективность распараллеливания|эффективность распараллеливания]] <math>E</math> остаётся прежней, то данную программу на данном компьютере можно считать масштабируемой.

=== Масштабируемость вширь ===

'''Масштабируемость вширь''' (wide scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> при фиксированном числе процессоров <math>p</math> (<math>p=const</math>).

=== Оценка daps ===
'''Оценка daps''' (daps estimation) - предлагаемая оценка производительности работы с памятью в программе, равна числу выполненных обращений в память в секунду. Построена по аналогии с распространенной оценкой производительности программ — flop/s (floating point operations per second), которая оценивает число операций с плавающей запятой в секунду. Оценка flop/s показывает производительность всей программы с точки зрения производимых вычислений; в то время как daps оценивает производительность программы с точки зрения работы с памятью.

Данная оценка является машинно-зависимой — она вычисляется на основе данных аппаратных датчиков. Служит для проверки точности результатов разрабатываемых нами машинно-независимых оценок локальности, таких как [[#Оценка cvg|cvg]].

=== Оценка cvg ===
'''Оценка cvg''' (cvg estimation) - предлагаемая машинно-независимая оценка локальности обращений в памяти в программе. Рассмотрим первые N обращений в потоке («окно»), и затем разобьем ось ординат (виртуальный адрес обращений) на отрезки длины K – [X .. X+K], [X+K .. X+2K], …, [Y-K .. Y], где [X, Y] - диапазон выделенной под рассматриваемые массивы виртуальной памяти. Таким образом, область построения профиля делится на прямоугольники размером KxN.

Физический смысл такого прямоугольника (при правильно подобранных значениях K и N) заключается в том, что любая последовательность точек, попавших в один прямоугольник, всегда обладает хорошей как пространственной, так и временно́й локальностью. Действительно, при достаточно малом значении K в прямоугольник попадает небольшой локальный фрагмент виртуальной памяти, а, значит, соседние обращения по памяти в любом случае будут расположены близко друг относительно друга. А временна́я локальность внутри прямоугольника не может быть больше N, поэтому при достаточно малом N можно обеспечить и хорошую временну́ю локальность. Однако не имеет смысла брать слишком малые значения для K и N, поскольку в этом случае теряется полезная информация о хорошей локальности не попавшего в прямоугольник фрагмента профиля.

Выделим те прямоугольники, в которые попадает хотя бы одно обращение. Чем меньше таких прямоугольников – тем больше точек попало в одни и те же прямоугольники, тем в общем случае лучше локальность. Пример разбиения профиля на прямоугольники приведен на рис. 1. Здесь для иллюстрации выделено три «окна», в каждом по 6 точек. В первом «окне» всего 2 непустых прямоугольника и самая хорошая локальность их трех вариантов. Во втором «окне» задействованы все 4 прямоугольника, при этом в каждый попало лишь по 1-2 обращения. Третье «окно» включает 3 непустых прямоугольника, и в этом варианте локальность лучше, чем у второго «окна», но хуже, чем у первого.

[[file:cvg.png|thumb|center|500px|Рисунок 1. Пример разбиения профиля на прямоугольники]]

Теперь сдвинем «окно» на одно обращение вправо и снова определим непустые прямоугольники; и так далее для всего профиля обращений. В результате мы получим «покрытие» – последовательность непустых прямоугольников, в каждом из которых содержится хотя бы по одному обращению, т.е. по одной точке профиля.

Далее для каждого «окна» посчитаем число таких непустых прямоугольников (обозначим это число как rects), в результате чего получим последовательность положительных натуральных чисел. Затем посчитаем среднее значение для данной последовательности. Полученное значение назовем оценкой локальности на основе метода покрытий и будем обозначать cvg.

Значение K было решено выбрать равным 64 байт, поскольку это соответствует длине кэш-строки, а в пределах одной кэш-строки пространственная локальность заведомо достаточно хорошая. При этом если запрошено одно значение, то в кэш-память подтянется вся строка из 64 байт, то есть все данные, соответствующие определенному прямоугольнику.

Оптимальное значение N для разных программ может существенно отличаться, но для выполнения корректного сравнения оценка было решено выбрать единственное значение N. Было проведено сравнение результатов для различных значений N, и в результате эмпирическим путем было получено, что наилучшие результаты достигаются при N=512.

=== Параллельная сложность ===
'''Параллельная сложность''' (parallel complexity) алгоритма - число шагов, за которое можно выполнить данный алгоритм в предположении доступности неограниченного числа необходимых процессоров (функциональных устройств, вычислительных узлов, ядер и т.п.). Параллельная сложность алгоритма понимается как высота канонической [[#Ярусно-параллельная форма графа алгоритма|ярусно-параллельной формы]].

=== Параметры запуска ===
'''Параметры запуска''' (startup parameters) параллельной программы - параметры, оказывающие влияние на работу параллельной программы, но не влияющие на реализацию алгоритма работы программы (например: размер задачи, число процессов, размер блока, число процессов на узел и т.п.)
Параметры запуска по типу можно разделить на:
# Аппаратные - относящиеся к параметрам аппаратуры.
# Системные - относящиеся к операционной системе, используемым библиотекам и системным приложениям и их настройкам.
# Программные - влияющие на логику работы программы или вычислительную сложность задачи, различные параметры, предусмотренные разработчиком.

=== Пиковая производительность ===
'''Пиковая производительность''' (peak performance) <math>R_{peak}</math> — теоретический предел [[#Производительность|производительности]] для данного компьютера. Пиковая производительность компьютера вычисляется как сумма пиковых производительностей всех входящих в него вычислительных устройств (процессоров, ускорителей и т.д.). Под пиковой производительностью каждого из вычислительных устройств понимают количество операций в секунду, которые он смог бы теоретически выполнять при полной загрузке всех своих компонент. Надо понимать, что пиковая производительность не только суперкомпьютера, но и, например, любого отдельно взятого процессора является величиной сугубо теоретической, недостижимой на практике.

=== Последовательная сложность ===
'''Последовательная сложность''' (serial complexity) алгоритма - число операций, которые нужно выполнить при его последовательном исполнении.

=== Пространственная локальность ===
'''Пространственная локальность''' (spatial locality) отражает среднее расстояние между несколькими последовательными обращениями в память.

=== Производительность ===
'''Производительность''' (performance) <math>R=Op/t</math> определяется количеством операций <math>Op</math>, производимых данным компьютером в единицу времени. Для высокопроизводительных вычислений в расчёт обычно берут количество арифметических операций в секунду над вещественными данными, представленными в форме с плавающей точкой. Эта величина называется Flop/s (от английского Floating point operations per second).

Поскольку современные суперкомпьютеры производят очень много таких операций в секунду, их производительность измеряется кратными величинами, такими как GFlop/s (<math>10^9</math> операций в секунду), TFlop/s (<math>10^{12}</math>), PFlop/s (<math>10^{15}</math>), EFlop/s (<math>10^{18}</math>). Производительность мощнейших современных суперкомпьютеров уже измеряется в EFlop/s, идёт обсуждение построения систем зеттафлопсного (порядка <math>10^{21}</math> операций в секунду) уровня производительности.

=== Профиль обращений в память ===
'''Профиль обращений в память''' (memory access profile) - последовательность выполняемых в программе обращений к данным в памяти, расположенных в том порядке, в котором обращения происходят в программе.

Обозначим профиль обращений A = {A1,A2,…,AN}, где N – общее число всех обращений при выполнении программы. Номер i элемента Ai в профиле указывает, каким по счету является данное обращение от начала выполнения программы. Любой элемент Аi будем называть элементом профиля. Запись Аi означает, что данный элемент имеет i-й порядковый номер; данная запись не содержит никакой информации о том, к какой переменной в программе происходит данное обращение.

На данный момент рассматриваются в основном обращения к массивам, поскольку они являются самыми распространенными структурами данных. Каждое обращение представлено в профиле некоторым числом. Таким образом, профиль обращений представляет собой последовательность чисел, которыми могут являться: 1) индексы элементов массива (если профиль строится только для одного массива); 2) виртуальные адреса, к которым происходят обращения; 3) физические адреса. Естественно, в рамках одного профиля используются числа только одного типа.

Подобные профили обращений содержат огромное количество полезной информации о работе программы с памятью. Интересным средством анализа профилей является изучение их визуального представления. Пример визуализации профиля приведен на рис. 2. Ось абсцисс — порядковый номер обращения в память, т. е. чем больше номер, тем позже произошло данное обращение. По оси ординат отложен виртуальный адрес памяти, к которому произошло обращение. Каждая точка — это отдельное обращение в память.

[[file:locality_profile.png|thumb|center|500px|Рисунок 2. Визуализация профиля обращений в память]]

Подобные графики сами по себе могут предоставить интересную информацию о поведении программы. Выделенная на рисунке область 1 (и остальные, аналогичные ей области), скорее всего, обладает хорошей пространственной и временно́й локальностью. Хорошей пространственной — потому что используются только соседние по памяти данные; хорошей временно́й — поскольку повторные обращения к этим данным происходят часто. Область 2 также обладает хорошей пространственной локальностью, поскольку соседние обращения происходят к соседним элементам, однако плохой временно́й локальностью, поскольку повторных обращений к данным просто нет.

Помимо получения данных о локальности, исследование визуализации профилей обращений в память является хорошим средством для понимания и определения шаблонов обращений.

Подобный анализ на основе визуализации профиля обращений помогает понять общее поведение программы, однако он не может дать точной количественной информации о взаимодействии программ с памятью. Для этих целей разрабатываются оценки локальности, такие как [[#Оценка daps|daps]] и [[#Оценка cvg|cvg]].

=== Реальная производительность ===
'''Реальная производительность''' (real performance) <math>R_{max}</math> — [[#Производительность|производительность]] данного компьютера на конкретном приложении.

=== Сильная масштабируемость ===
'''Сильная масштабируемость''' (strong scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи (<math>W=const</math>).

=== Скошенный параллелизм ===
'''Скошенный параллелизм''' (skewed parallelism) - параллелизм в пространстве итераций, определяемый поверхностями уровней разверток. Ряд исследователей этим термином пользуется только для случая, когда параллелизм не является [[#Координатный паралеллизм|координатным]].

=== Слабая масштабируемость ===
'''Слабая масштабируемость''' (weak scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи в пересчёте на один процессор (<math>W/p=const</math>).

=== Степень исхода ===
'''Степень исхода''' (degree of a vertex) вершины информационного графа - количество исходящих из данной вершины информационных дуг.

=== Суперлинейное ускорение ===
'''Суперлинейное ускорение''' (super linear speedup) или '''сверхлинейное ускорение''' программы - это [[#Ускорение|ускорение]], превосходящие число используемых процессоров <math>p</math>. Чаще всего объясняется эффектом от использования кэш-памяти.

=== Суперскалярность ===
'''Суперскалярность''' — архитектура вычислительного ядра, позволяющая загружать работой множество исполнительных блоков. Планирование исполнения команд является динамическим и осуществляется самим ядром.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Суперскалярность Суперскалярность]''

=== Ускорение ===
'''Ускорение''' (speedup) работы программы <math>S = T_1/T_p</math> - отношение времени работы некоторой программы на одном процессоре <math>T_1</math> ко времени работы распараллеленной программы при использовании <math>p</math> процессоров <math>T_p</math>.

=== Устойчивость ===
'''Устойчивость''' (stability) алгоритма - свойство алгоритма не увеличивать или увеличивать в незначительной степени погрешности, допущенной в начальных данных или допускаемой при вычислениях.

=== Эквивалентное возмущение ===
'''Эквивалентное возмущение''' (equivalent perturbation) алгоритма - одна из характеристик влияния ошибок округления промежуточных операций на отклонение решения, получаемого алгоритмом, от настоящего решения задачи. Выражается косвенно: влияние ошибок на ответ считается таким же, как если бы данные были заданы с ошибкой, выражаемой эквивалентным возмущением, но задача с такими данными была бы решена точно.

=== Эквивалентное преобразование ===
'''Эквивалентное преобразование''' (equivalent transformaion) программы - такое преобразование, при котором в точности сохраняется результат выполнения программы.

=== Эффективность распараллеливания ===
'''Эффективность распараллеливания''' (parallel efficiency) <math>E = S/p</math> (где <math>S</math> - полученное [[#Ускорение|ускорение]] работы программы, а <math>p</math> - число используемых процессоров) определяет среднюю долю времени выполнения параллельного алгоритма, в течение которого процессоры реально используются для решения задачи. Получение большого ускорения за счёт использования большого числа процессоров зачастую приводит к снижению эффективности.

Если не брать в расчёт эффект [[#Суперлинейное ускорение|суперлинейного ускорения]], то ускорение выполнения программы не превосходит числа используемых процессоров <math>p</math>, а значит, эффективность распараллеливания не превосходит единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о меньшем количестве накладных расходов, а значит, о лучшем качестве распараллеливания программы.

=== Эффективность реализации ===

'''Эффективность реализации''' (implementation efficiency) программы <math>R_{max}/R_{peak}</math> определяется как отношение [[#Реальная производительность|реальной производительности]] <math>R_{max}</math> к [[#Пиковая производительность|пиковой производительности]] <math>R_{peak}</math>.

Поскольку пиковая производительность недостижима на практике, эффективность реализации программы всегда меньше единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о том, что более эффективно задействованы ресурсы компьютера.

=== Ярусно-параллельная форма графа алгоритма ===

'''Ярусно-параллельная форма (ЯПФ)''' (parallel form) - это представление графа алгоритма, в котором:
* все вершины разбиты на перенумерованные подмножества ярусов;
* начальная вершина каждой дуги расположена на ярусе с номером меньшим, чем номер яруса конечной вершины;
* между вершинами, расположенными на одном ярусе, не может быть дуг.

''Высота'' ЯПФ - это число ярусов.
Ширина яруса - число вершин, расположенных на ярусе.
''Ширина'' ЯПФ - это максимальная ширина ярусов в ЯПФ.

'''Канонической ярусно-параллельной формой''' называется ЯПФ, высота которой на единицу больше длины критического пути, а все входные вершины расположены на первом ярусе. Для заданного графа его каноническая ЯПФ единственна. Высота канонической ЯПФ соответствует [[#Параллельная сложность|параллельной сложности]] алгоритма.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Ярусно-параллельная_форма_графа Ярусно-параллельная форма графа]''
* ''[https://ru.wikipedia.org/wiki/Критический_путь_графа Критический путь графа]''

[[En:Glossary]]

[[Категория:Статьи в работе]]
[[Категория:Algowiki:Справка]]

Файл:Picture1 1.png

2025-11-25T07:18:01Z

ASA:

rtew

Схема Горнера, вещественная версия, последовательный вариант

2025-03-14T12:10:04Z

ASA:

{{level-a}}

{{algorithm
| name = Схема Горнера для деления многочлена n-й степени на приведённый двучлен
| serial_complexity = <math>2n</math>
| pf_height = <math>2n</math>
| pf_width = <math>1</math>
| input_data = <math>n+2</math>
| output_data = <math>n+1</math>
}}
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Решаемая задача ====

Схема Горнера<ref>Н.Я. Виленкин, Р.С. Гутер, С.И. Шварцбурд, Б.В. Овчинский, В.Г. Ашкинузе. Алгебра. Учебное пособие для 9-10 классов средних школ с математической специализацией. М.: Просвещение, 1972</ref> решает задачу деления многочлена <math>P_n(x)</math> с известными коэффициентами на двучлен <math>x - \alpha</math>. В качестве результатов выступают коэффициенты многочлена <math>Q_{n - 1}(x)</math> из соотношения

:<math>P_n(x) - P_n(\alpha) = (x - \alpha) Q_{n - 1}(x)</math>,

а также <math>P_n(\alpha)</math> (значение многочлена <math>P_n(x)</math> в точке <math>\alpha</math>)

К сожалению, зачастую в учебной литературе схему Горнера сводят к вычислению значения многочлена <math>P_n(x)</math> в точке <math>\alpha</math>.

==== Общая схема ====

Фактически схема Горнера реализует «деление уголком» многочлена на двучлен <math>x - \alpha</math>, с нахождением остатка, который, по теореме Безу, равен значению многочлена <math>P_n(x)</math> в точке <math>\alpha</math>.

=== Математическое описание алгоритма ===

Исходные данные: одномерный массив <math>n + 1</math> чисел <math>a_k</math> и скаляр <math>\alpha</math>.

Вычисляемые данные: одномерный массив <math>n + 1</math> чисел <math>b_k</math>.

Формулы метода с выводом: из соотношения

:<math>P_n(x) - P_n(\alpha) = (x - \alpha) Q_{n - 1}(x)</math>

если записать оба многочлена в каноническом виде

:<math>
\begin{align}
P_n(x) & = a_0 x^n+ a_1 x^{n - 1} + \dots + a_{n - 1} x + a_n, \\
Q_{n - 1}(x) & = b_0 x^{n - 1} + b_1 x^{n - 2} + \dots + b_{n - 2} x + b_{n - 1}
\end{align}
</math>

и приписать «свободному» <math>b_n</math> значение <math>P_n(\alpha)</math>, то, при подстановке многочленов в каноническом виде в исходное соотношение и приравнивании коэффициентов равных степеней, в качестве решения получается

:<math>
\begin{align}
b_0 & = a_0, \\
b_k & = a_k + \alpha b_{k - 1}, \quad k = 1, \dots, n
\end{align}
</math>

что и является '''формулами схемы Горнера'''.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро схемы Горнера в последовательном варианте можно представить в качестве последовательного набора <math>n</math> «двойных» операций (умножение элементов получаемого массива на один и тот же скаляр и добавление результата к следующему элементу входного массива).

=== Макроструктура алгоритма ===

Как уже записано в описании ядра алгоритма, основную часть вычисления схемы Горнера произведения составляет массовый последовательный набор «двойных› операций (умножение элементов получаемого массива на один и тот же скаляр и добавление результата к следующему элементу входного массива).

=== Схема реализации последовательного алгоритма ===

Формулы метода описаны выше. Последовательность исполнения — по возрастанию индекса ''k''.

=== Последовательная сложность алгоритма ===

Для вычисления схемы Горнера для многочлена степени <math>n</math>, количество операций умножения равно количеству операций сложения и равно <math>n</math>. Поэтому алгоритм должен быть отнесён к алгоритмам ''линейной'' сложности по количеству последовательных операций.

=== Информационный граф ===

На рис.1 изображён граф алгоритма для <math>n = 9</math>. Как видно, граф чисто последовательный. Ввод и вывод обозначен только для начального коэффициента и значения многочлена. Op - операция "умножить входное данное на скаляр и прибавить к другому данному".

[[file:Basic sequental algorithm graph.png|center|thumb|800px|Рисунок 1. Схема Горнера: последовательная версия]]

=== Ресурс параллелизма алгоритма ===

Последовательный вариант вычисления схемы Горнера не имеет ресурсов параллелизма. Его ярусно-параллельная форма (ЯПФ) — единственна и совпадает с последовательным алгоритмом. Таким образом, в получившемся алгоритме высота параллельной формы будет равна <math>n</math> операций умножения плюс <math>n</math> операций сложения. В таком виде алгоритм должен быть отнесён к алгоритмам ''линейной'' сложности по высоте параллельной формы. Ширина параллельной формы равна <math>1</math>, что даёт нам ''постоянную'' сложность по ширине параллельной формы.

=== Входные и выходные данные алгоритма ===

Входные данные: массив <math>a</math> (элементы <math>a_i</math> с номерами от <math>0</math> до <math>n</math>), скаляр <math>\alpha</math>.

Дополнительные ограничения: отсутствуют.

Объём входных данных: <nowiki/><math>n + 2</math>.

Выходные данные: массив <math>b</math> (элементы <math>b_k</math> с номерами от <math>0</math> до <math>n</math>).

Объём выходных данных: <nowiki/><math>n + 1</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''константой'' (1). При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных — всего-навсего ''1 (входных и выходных данных даже на 1 больше, чем количество операций)''. При этом алгоритм полностью детерминирован. Дуги информационного графа локальны. По устойчивости схема Горнера оптимальна для вычисления значения многочлена с известными коэффициентами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

На Фортране схему Горнера можно записать так:
<source lang="fortran">
b(0) = a(0)
DO I = 1, N
b(I) = a(I)+b(I-1)*alpha
END DO
</source>

=== Возможные способы и особенности параллельной реализации алгоритма ===

Описываемый алгоритм не предполагает параллельной реализации.

Помимо [[#Особенности реализации последовательного алгоритма|выписанной выше простейшей реализации]], существуют более примитивные коды, реализующие часть функционала схемы Горнера. Это объясняется тем, что для многих нужно только значение многочлена (остаток от деления), но не нужен многочлен-частное. В таком случае вместо всех элементов массива <math>b</math> используется один и тот же скаляр.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

Схема Горнера - метод для архитектуры классического, фон-неймановского типа. Даже на современных суперскалярных одноядерных системах эффективность её исполнения очень низка.

== Литература ==

<references />

[[en: Horners method]]

[[Категория:Законченные статьи]]
[[Категория:Алгоритмы с низким уровнем параллелизма]]

Схема Горнера, вещественная версия, последовательный вариант

2025-03-14T12:08:15Z

ASA:

{{level-a}}

{{algorithm
| name = Схема Горнера для деления многочлена n-й степени на приведённый двучлен
| serial_complexity = <math>2n</math>
| pf_height = <math>11n-16</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>n+2</math>
| output_data = <math>n+1</math>
}}
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Решаемая задача ====

Схема Горнера<ref>Н.Я. Виленкин, Р.С. Гутер, С.И. Шварцбурд, Б.В. Овчинский, В.Г. Ашкинузе. Алгебра. Учебное пособие для 9-10 классов средних школ с математической специализацией. М.: Просвещение, 1972</ref> решает задачу деления многочлена <math>P_n(x)</math> с известными коэффициентами на двучлен <math>x - \alpha</math>. В качестве результатов выступают коэффициенты многочлена <math>Q_{n - 1}(x)</math> из соотношения

:<math>P_n(x) - P_n(\alpha) = (x - \alpha) Q_{n - 1}(x)</math>,

а также <math>P_n(\alpha)</math> (значение многочлена <math>P_n(x)</math> в точке <math>\alpha</math>)

К сожалению, зачастую в учебной литературе схему Горнера сводят к вычислению значения многочлена <math>P_n(x)</math> в точке <math>\alpha</math>.

==== Общая схема ====

Фактически схема Горнера реализует «деление уголком» многочлена на двучлен <math>x - \alpha</math>, с нахождением остатка, который, по теореме Безу, равен значению многочлена <math>P_n(x)</math> в точке <math>\alpha</math>.

=== Математическое описание алгоритма ===

Исходные данные: одномерный массив <math>n + 1</math> чисел <math>a_k</math> и скаляр <math>\alpha</math>.

Вычисляемые данные: одномерный массив <math>n + 1</math> чисел <math>b_k</math>.

Формулы метода с выводом: из соотношения

:<math>P_n(x) - P_n(\alpha) = (x - \alpha) Q_{n - 1}(x)</math>

если записать оба многочлена в каноническом виде

:<math>
\begin{align}
P_n(x) & = a_0 x^n+ a_1 x^{n - 1} + \dots + a_{n - 1} x + a_n, \\
Q_{n - 1}(x) & = b_0 x^{n - 1} + b_1 x^{n - 2} + \dots + b_{n - 2} x + b_{n - 1}
\end{align}
</math>

и приписать «свободному» <math>b_n</math> значение <math>P_n(\alpha)</math>, то, при подстановке многочленов в каноническом виде в исходное соотношение и приравнивании коэффициентов равных степеней, в качестве решения получается

:<math>
\begin{align}
b_0 & = a_0, \\
b_k & = a_k + \alpha b_{k - 1}, \quad k = 1, \dots, n
\end{align}
</math>

что и является '''формулами схемы Горнера'''.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро схемы Горнера в последовательном варианте можно представить в качестве последовательного набора <math>n</math> «двойных» операций (умножение элементов получаемого массива на один и тот же скаляр и добавление результата к следующему элементу входного массива).

=== Макроструктура алгоритма ===

Как уже записано в описании ядра алгоритма, основную часть вычисления схемы Горнера произведения составляет массовый последовательный набор «двойных› операций (умножение элементов получаемого массива на один и тот же скаляр и добавление результата к следующему элементу входного массива).

=== Схема реализации последовательного алгоритма ===

Формулы метода описаны выше. Последовательность исполнения — по возрастанию индекса ''k''.

=== Последовательная сложность алгоритма ===

Для вычисления схемы Горнера для многочлена степени <math>n</math>, количество операций умножения равно количеству операций сложения и равно <math>n</math>. Поэтому алгоритм должен быть отнесён к алгоритмам ''линейной'' сложности по количеству последовательных операций.

=== Информационный граф ===

На рис.1 изображён граф алгоритма для <math>n = 9</math>. Как видно, граф чисто последовательный. Ввод и вывод обозначен только для начального коэффициента и значения многочлена. Op - операция "умножить входное данное на скаляр и прибавить к другому данному".

[[file:Basic sequental algorithm graph.png|center|thumb|800px|Рисунок 1. Схема Горнера: последовательная версия]]

=== Ресурс параллелизма алгоритма ===

Последовательный вариант вычисления схемы Горнера не имеет ресурсов параллелизма. Его ярусно-параллельная форма (ЯПФ) — единственна и совпадает с последовательным алгоритмом. Таким образом, в получившемся алгоритме высота параллельной формы будет равна <math>n</math> операций умножения плюс <math>n</math> операций сложения. В таком виде алгоритм должен быть отнесён к алгоритмам ''линейной'' сложности по высоте параллельной формы. Ширина параллельной формы равна <math>1</math>, что даёт нам ''постоянную'' сложность по ширине параллельной формы.

=== Входные и выходные данные алгоритма ===

Входные данные: массив <math>a</math> (элементы <math>a_i</math> с номерами от <math>0</math> до <math>n</math>), скаляр <math>\alpha</math>.

Дополнительные ограничения: отсутствуют.

Объём входных данных: <nowiki/><math>n + 2</math>.

Выходные данные: массив <math>b</math> (элементы <math>b_k</math> с номерами от <math>0</math> до <math>n</math>).

Объём выходных данных: <nowiki/><math>n + 1</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''константой'' (1). При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных — всего-навсего ''1 (входных и выходных данных даже на 1 больше, чем количество операций)''. При этом алгоритм полностью детерминирован. Дуги информационного графа локальны. По устойчивости схема Горнера оптимальна для вычисления значения многочлена с известными коэффициентами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

На Фортране схему Горнера можно записать так:
<source lang="fortran">
b(0) = a(0)
DO I = 1, N
b(I) = a(I)+b(I-1)*alpha
END DO
</source>

=== Возможные способы и особенности параллельной реализации алгоритма ===

Описываемый алгоритм не предполагает параллельной реализации.

Помимо [[#Особенности реализации последовательного алгоритма|выписанной выше простейшей реализации]], существуют более примитивные коды, реализующие часть функционала схемы Горнера. Это объясняется тем, что для многих нужно только значение многочлена (остаток от деления), но не нужен многочлен-частное. В таком случае вместо всех элементов массива <math>b</math> используется один и тот же скаляр.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

Схема Горнера - метод для архитектуры классического, фон-неймановского типа. Даже на современных суперскалярных одноядерных системах эффективность её исполнения очень низка.

== Литература ==

<references />

[[en: Horners method]]

[[Категория:Законченные статьи]]
[[Категория:Алгоритмы с низким уровнем параллелизма]]

Глоссарий

2025-03-14T10:07:27Z

ASA: /* Эквивалентное возмущение */

=== Временна́я локальность ===
'''Временная локальность''' (temporal locality) показывает среднее число обращений по одному адресу в память за время исполнения всей программы.

=== Вычислительная мощность ===
'''Вычислительная мощность''' (computational power) алгоритма равна отношению числа операций к суммарному объему входных и выходных данных. Она показывает, сколько операций приходится на единицу переданных данных.

=== Вычислительная сложность ===
'''Вычислительная сложность''' (computational complexity) задачи <math>W</math> - количество основных вычислительных шагов лучшего последовательного алгоритма, необходимых для решения задачи на одном процессоре. Вычислительная сложность обычно является некоторой функцией от размера входных данных программы.

=== Вычислительное ядро ===
'''Вычислительное ядро''' (computational kernel) алгоритма - это часть алгоритма, на которую приходится основное время его работы.

=== Граф алгоритма ===
'''Граф алгоритма''' (algorithm graph) - это ориентированный ациклический мультиграф, вершины которого соответствуют операциям алгоритма, а дуги - передаче данных между ними. Вершины графа алгоритма могут соединяться несколькими дугами, в частности когда в качестве разных аргументов одной и той же операции используется одна и та же величина. Граф алгоритма почти всегда является параметризованным графом. В частности, его вид часто зависит от входных данных.

Граф алгоритма используется как удобное представление алгоритма при исследовании его структуры, ресурса параллелизма, а также других свойств. Его можно рассматривать как параметризованную информационную историю. Он сохраняет её информативность, при этом обладая компактностью за счёт параметризации. Разработана методика построения графа алгоритма по исходному тексту программ.

''См. также: [https://ru.wikipedia.org/wiki/Граф_алгоритма Граф алгоритма]''

=== Детерминированность ===
'''Детерминированность''' (determinacy) алгоритма - постоянство структуры вычислительного процесса. Алгоритм выдаёт уникальный и предопределённый результат для заданных входных данных.

=== Избыточные вычисления ===
'''Избыточные вычисления''' (redundant computation) - понятие, которое используют для обозначения разных явлений в параллельных вычислениях.
* В понимании графовой модели вычислений это такие операции, результаты которых нигде не будут использованы. Такие операции появляются в результате ошибок программирования и подлежат удалению из алгоритма.
* Распространено также понимание термина как вычисления, которые ''выполняются более одного раза'' или на более чем одном процессоре. Избыточные вычисления могут использоваться либо в многопроцессорных системах, чтобы минимизировать обмены, либо при недостаточном объеме памяти для хранения всех вычисленных значений.
* Кроме этого, избыточными вычислениями можно назвать те операции, которые появляются при замене последовательного алгоритма на специальный параллельный. У последнего алгоритма больше операций, но меньше длина критического пути графа, этим и обосновывается замена алгоритма. В таком случае реальное ускорение параллельного алгоритма следует считать не в сравнении с однопроцессорной реализацией его самого, а в сравнении с реализацией последовательного алгоритма. В нашей открытой энциклопедии свойств алгоритмов именно последнее толкование термина применяется в категории [[http://algowiki-project.org/ru/%D0%9A%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D1%8F:%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D1%8B_%D1%81_%D0%B8%D0%B7%D0%B1%D1%8B%D1%82%D0%BE%D1%87%D0%BD%D1%8B%D0%BC%D0%B8_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F%D0%BC%D0%B8 Алгоритмы с избыточными вычислениями]].

=== Конечный параллелизм ===
'''Конечный параллелизм''' (finite parallelism) - параллелизм, определяемый информационной независимостью некоторых фрагментов в тексте программы.

=== Координатный параллелизм ===
'''Координатный параллелизм''' (coordinate parallelism) - частный случай [[#Скошенный паралеллизм|скошенного параллелизма]], определяемый циклами ParDO, при котором информационно независимые вершины лежат на гиперплоскостях, перпендикулярных одной из координатных осей.

=== Локальность (обращений в память) ===
'''Локальность (обращений в память)''' (locality) - общее предположение о свойстве работы программ с данными. Заключается в том, что при обращении к некоторым данным велика вероятность, что в скором времени произойдет повторное обращение к тем же или расположенным рядом данным. В частности, на основе данного предположения построена работа кэш-памяти. Различают [[#Локальность команд|локальность команд]] и [[#Локальность использования данных|локальность использования данных]], а также [[#Пространственная локальность|пространственную]] и [[#Временна́я локальность|временну́ю]] локальность.

=== Локальность вычислений ===
'''Локальность вычислений''' (computation locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - команды, из которых состоят программы.

=== Локальность использования данных ===
'''Локальность использования данных''' (data locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - все данные, с которыми оперируют программы во время выполнения.

=== Массовый параллелизм ===
'''Массовый параллелизм''' (mass parallelism) - параллелизм, определяемый информационной независимостью итераций циклов программы.

=== Масштабируемость ===
'''Масштабируемость''' (scalability) - способность системы увеличивать свою [[#Производительность|производительность]] при добавлении ресурсов (обычно аппаратных). Система называется масштабируемой, если она способна увеличивать производительность пропорционально дополнительным ресурсам. Масштабируемость можно оценить через отношение прироста производительности системы к приросту используемых ей ресурсов. Чем ближе это отношение к единице, тем масштабируемость лучше.

=== Масштабируемость параллельной программы ===
'''Масштабируемость параллельной программы''' (scalability of parallel program) определяется относительно конкретного компьютера и показывает, как изменяются динамические характеристики данной программы в зависимости от её [[#Параметры запуска|параметров запуска]].

Наиболее часто рассматриваемые разновидности масштабируемости параллельных программ: [[#Сильная масштабируемость|сильная масштабируемость]], [[#Масштабируемость вширь|масштабируемость вширь]], [[#Слабая масштабируемость|слабая масштабируемость]].

Если при одновременном увеличении числа процессоров <math>p</math> и [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> [[#Эффективность распараллеливания|эффективность распараллеливания]] <math>E</math> остаётся прежней, то данную программу на данном компьютере можно считать масштабируемой.

=== Масштабируемость вширь ===

'''Масштабируемость вширь''' (wide scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> при фиксированном числе процессоров <math>p</math> (<math>p=const</math>).

=== Оценка daps ===
'''Оценка daps''' (daps estimation) - предлагаемая оценка производительности работы с памятью в программе, равна числу выполненных обращений в память в секунду. Построена по аналогии с распространенной оценкой производительности программ — flop/s (floating point operations per second), которая оценивает число операций с плавающей запятой в секунду. Оценка flop/s показывает производительность всей программы с точки зрения производимых вычислений; в то время как daps оценивает производительность программы с точки зрения работы с памятью.

Данная оценка является машинно-зависимой — она вычисляется на основе данных аппаратных датчиков. Служит для проверки точности результатов разрабатываемых нами машинно-независимых оценок локальности, таких как [[#Оценка cvg|cvg]].

=== Оценка cvg ===
'''Оценка cvg''' (cvg estimation) - предлагаемая машинно-независимая оценка локальности обращений в памяти в программе. Рассмотрим первые N обращений в потоке («окно»), и затем разобьем ось ординат (виртуальный адрес обращений) на отрезки длины K – [X .. X+K], [X+K .. X+2K], …, [Y-K .. Y], где [X, Y] - диапазон выделенной под рассматриваемые массивы виртуальной памяти. Таким образом, область построения профиля делится на прямоугольники размером KxN.

Физический смысл такого прямоугольника (при правильно подобранных значениях K и N) заключается в том, что любая последовательность точек, попавших в один прямоугольник, всегда обладает хорошей как пространственной, так и временно́й локальностью. Действительно, при достаточно малом значении K в прямоугольник попадает небольшой локальный фрагмент виртуальной памяти, а, значит, соседние обращения по памяти в любом случае будут расположены близко друг относительно друга. А временна́я локальность внутри прямоугольника не может быть больше N, поэтому при достаточно малом N можно обеспечить и хорошую временну́ю локальность. Однако не имеет смысла брать слишком малые значения для K и N, поскольку в этом случае теряется полезная информация о хорошей локальности не попавшего в прямоугольник фрагмента профиля.

Выделим те прямоугольники, в которые попадает хотя бы одно обращение. Чем меньше таких прямоугольников – тем больше точек попало в одни и те же прямоугольники, тем в общем случае лучше локальность. Пример разбиения профиля на прямоугольники приведен на рис. 1. Здесь для иллюстрации выделено три «окна», в каждом по 6 точек. В первом «окне» всего 2 непустых прямоугольника и самая хорошая локальность их трех вариантов. Во втором «окне» задействованы все 4 прямоугольника, при этом в каждый попало лишь по 1-2 обращения. Третье «окно» включает 3 непустых прямоугольника, и в этом варианте локальность лучше, чем у второго «окна», но хуже, чем у первого.

[[file:cvg.png|thumb|center|500px|Рисунок 1. Пример разбиения профиля на прямоугольники]]

Теперь сдвинем «окно» на одно обращение вправо и снова определим непустые прямоугольники; и так далее для всего профиля обращений. В результате мы получим «покрытие» – последовательность непустых прямоугольников, в каждом из которых содержится хотя бы по одному обращению, т.е. по одной точке профиля.

Далее для каждого «окна» посчитаем число таких непустых прямоугольников (обозначим это число как rects), в результате чего получим последовательность положительных натуральных чисел. Затем посчитаем среднее значение для данной последовательности. Полученное значение назовем оценкой локальности на основе метода покрытий и будем обозначать cvg.

Значение K было решено выбрать равным 64 байт, поскольку это соответствует длине кэш-строки, а в пределах одной кэш-строки пространственная локальность заведомо достаточно хорошая. При этом если запрошено одно значение, то в кэш-память подтянется вся строка из 64 байт, то есть все данные, соответствующие определенному прямоугольнику.

Оптимальное значение N для разных программ может существенно отличаться, но для выполнения корректного сравнения оценка было решено выбрать единственное значение N. Было проведено сравнение результатов для различных значений N, и в результате эмпирическим путем было получено, что наилучшие результаты достигаются при N=512.

=== Параллельная сложность ===
'''Параллельная сложность''' (parallel complexity) алгоритма - число шагов, за которое можно выполнить данный алгоритм в предположении доступности неограниченного числа необходимых процессоров (функциональных устройств, вычислительных узлов, ядер и т.п.). Параллельная сложность алгоритма понимается как высота канонической [[#Ярусно-параллельная форма графа алгоритма|ярусно-параллельной формы]].

=== Параметры запуска ===
'''Параметры запуска''' (startup parameters) параллельной программы - параметры, оказывающие влияние на работу параллельной программы, но не влияющие на реализацию алгоритма работы программы (например: размер задачи, число процессов, размер блока, число процессов на узел и т.п.)
Параметры запуска по типу можно разделить на:
# Аппаратные - относящиеся к параметрам аппаратуры.
# Системные - относящиеся к операционной системе, используемым библиотекам и системным приложениям и их настройкам.
# Программные - влияющие на логику работы программы или вычислительную сложность задачи, различные параметры, предусмотренные разработчиком.

=== Пиковая производительность ===
'''Пиковая производительность''' (peak performance) <math>R_{peak}</math> — теоретический предел [[#Производительность|производительности]] для данного компьютера. Пиковая производительность компьютера вычисляется как сумма пиковых производительностей всех входящих в него вычислительных устройств (процессоров, ускорителей и т.д.). Под пиковой производительностью каждого из вычислительных устройств понимают количество операций в секунду, которые он смог бы теоретически выполнять при полной загрузке всех своих компонент. Надо понимать, что пиковая производительность не только суперкомпьютера, но и, например, любого отдельно взятого процессора является величиной сугубо теоретической, недостижимой на практике.

=== Последовательная сложность ===
'''Последовательная сложность''' (serial complexity) алгоритма - число операций, которые нужно выполнить при его последовательном исполнении.

=== Пространственная локальность ===
'''Пространственная локальность''' (spatial locality) отражает среднее расстояние между несколькими последовательными обращениями в память.

=== Производительность ===
'''Производительность''' (performance) <math>R=Op/t</math> определяется количеством операций <math>Op</math>, производимых данным компьютером в единицу времени. Для высокопроизводительных вычислений в расчёт обычно берут количество арифметических операций в секунду над вещественными данными, представленными в форме с плавающей точкой. Эта величина называется Flop/s (от английского Floating point operations per second).

Поскольку современные суперкомпьютеры производят очень много таких операций в секунду, их производительность измеряется кратными величинами, такими как GFlop/s (<math>10^9</math> операций в секунду), TFlop/s (<math>10^{12}</math>), PFlop/s (<math>10^{15}</math>), EFlop/s (<math>10^{18}</math>). Производительность мощнейших современных суперкомпьютеров уже измеряется в EFlop/s, идёт обсуждение построения систем зеттафлопсного (порядка <math>10^{21}</math> операций в секунду) уровня производительности.

=== Профиль обращений в память ===
'''Профиль обращений в память''' (memory access profile) - последовательность выполняемых в программе обращений к данным в памяти, расположенных в том порядке, в котором обращения происходят в программе.

Обозначим профиль обращений A = {A1,A2,…,AN}, где N – общее число всех обращений при выполнении программы. Номер i элемента Ai в профиле указывает, каким по счету является данное обращение от начала выполнения программы. Любой элемент Аi будем называть элементом профиля. Запись Аi означает, что данный элемент имеет i-й порядковый номер; данная запись не содержит никакой информации о том, к какой переменной в программе происходит данное обращение.

На данный момент рассматриваются в основном обращения к массивам, поскольку они являются самыми распространенными структурами данных. Каждое обращение представлено в профиле некоторым числом. Таким образом, профиль обращений представляет собой последовательность чисел, которыми могут являться: 1) индексы элементов массива (если профиль строится только для одного массива); 2) виртуальные адреса, к которым происходят обращения; 3) физические адреса. Естественно, в рамках одного профиля используются числа только одного типа.

Подобные профили обращений содержат огромное количество полезной информации о работе программы с памятью. Интересным средством анализа профилей является изучение их визуального представления. Пример визуализации профиля приведен на рис. 2. Ось абсцисс — порядковый номер обращения в память, т. е. чем больше номер, тем позже произошло данное обращение. По оси ординат отложен виртуальный адрес памяти, к которому произошло обращение. Каждая точка — это отдельное обращение в память.

[[file:locality_profile.png|thumb|center|500px|Рисунок 2. Визуализация профиля обращений в память]]

Подобные графики сами по себе могут предоставить интересную информацию о поведении программы. Выделенная на рисунке область 1 (и остальные, аналогичные ей области), скорее всего, обладает хорошей пространственной и временно́й локальностью. Хорошей пространственной — потому что используются только соседние по памяти данные; хорошей временно́й — поскольку повторные обращения к этим данным происходят часто. Область 2 также обладает хорошей пространственной локальностью, поскольку соседние обращения происходят к соседним элементам, однако плохой временно́й локальностью, поскольку повторных обращений к данным просто нет.

Помимо получения данных о локальности, исследование визуализации профилей обращений в память является хорошим средством для понимания и определения шаблонов обращений.

Подобный анализ на основе визуализации профиля обращений помогает понять общее поведение программы, однако он не может дать точной количественной информации о взаимодействии программ с памятью. Для этих целей разрабатываются оценки локальности, такие как [[#Оценка daps|daps]] и [[#Оценка cvg|cvg]].

=== Реальная производительность ===
'''Реальная производительность''' (real performance) <math>R_{max}</math> — [[#Производительность|производительность]] данного компьютера на конкретном приложении.

=== Сильная масштабируемость ===
'''Сильная масштабируемость''' (strong scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи (<math>W=const</math>).

=== Скошенный параллелизм ===
'''Скошенный параллелизм''' (skewed parallelism) - параллелизм в пространстве итераций, определяемый поверхностями уровней разверток. Ряд исследователей этим термином пользуется только для случая, когда параллелизм не является [[#Координатный паралеллизм|координатным]].

=== Слабая масштабируемость ===
'''Слабая масштабируемость''' (weak scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи в пересчёте на один процессор (<math>W/p=const</math>).

=== Степень исхода ===
'''Степень исхода''' (degree of a vertex) вершины информационного графа - количество исходящих из данной вершины информационных дуг.

=== Суперлинейное ускорение ===
'''Суперлинейное ускорение''' (super linear speedup) или '''сверхлинейное ускорение''' программы - это [[#Ускорение|ускорение]], превосходящие число используемых процессоров <math>p</math>. Чаще всего объясняется эффектом от использования кэш-памяти.

=== Суперскалярность ===
'''Суперскалярность''' — архитектура вычислительного ядра, позволяющая загружать работой множество исполнительных блоков. Планирование исполнения команд является динамическим и осуществляется самим ядром.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Суперскалярность Суперскалярность]''

=== Ускорение ===
'''Ускорение''' (speedup) работы программы <math>S = T_1/T_p</math> - отношение времени работы некоторой программы на одном процессоре <math>T_1</math> ко времени работы распараллеленной программы при использовании <math>p</math> процессоров <math>T_p</math>.

=== Устойчивость ===
'''Устойчивость''' (stability) алгоритма - свойство алгоритма не увеличивать или увеличивать в незначительной степени погрешности, допущенной в начальных данных или допускаемой при вычислениях.

=== Эквивалентное возмущение ===
'''Эквивалентное возмущение''' (equivalent perturbation) алгоритма - одна из характеристик влияния ошибок округления промежуточных операций на отклонение решения, получаемого алгоритмом, от настоящего решения задачи. Выражается косвенно: влияние ошибок на ответ считается таким же, как если бы данные были заданы с ошибкой, выражаемой эквивалентным возмущением, но задача с такими данными была бы решена точно.

=== Эквивалентное преобразование ===
'''Эквивалентное преобразование''' (equivalent transformaion) программы - такое преобразование, при котором в точности сохраняется результат выполнения программы.

=== Эффективность распараллеливания ===
'''Эффективность распараллеливания''' (parallel efficiency) <math>E = S/p</math> (где <math>S</math> - полученное [[#Ускорение|ускорение]] работы программы, а <math>p</math> - число используемых процессоров) определяет среднюю долю времени выполнения параллельного алгоритма, в течение которого процессоры реально используются для решения задачи. Получение большого ускорения за счёт использования большого числа процессоров зачастую приводит к снижению эффективности.

Если не брать в расчёт эффект [[#Суперлинейное ускорение|суперлинейного ускорения]], то ускорение выполнения программы не превосходит числа используемых процессоров <math>p</math>, а значит, эффективность распараллеливания не превосходит единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о меньшем количестве накладных расходов, а значит, о лучшем качестве распараллеливания программы.

=== Эффективность реализации ===

'''Эффективность реализации''' (implementation efficiency) программы <math>R_{max}/R_{peak}</math> определяется как отношение [[#Реальная производительность|реальной производительности]] <math>R_{max}</math> к [[#Пиковая производительность|пиковой производительности]] <math>R_{peak}</math>.

Поскольку пиковая производительность недостижима на практике, эффективность реализации программы всегда меньше единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о том, что более эффективно задействованы ресурсы компьютера.

=== Ярусно-параллельная форма графа алгоритма ===

'''Ярусно-параллельная форма (ЯПФ)''' (parallel form) - это представление графа алгоритма, в котором:
* все вершины разбиты на перенумерованные подмножества ярусов;
* начальная вершина каждой дуги расположена на ярусе с номером меньшим, чем номер яруса конечной вершины;
* между вершинами, расположенными на одном ярусе, не может быть дуг.

''Высота'' ЯПФ - это число ярусов.
Ширина яруса - число вершин, расположенных на ярусе.
''Ширина'' ЯПФ - это максимальная ширина ярусов в ЯПФ.

'''Канонической ярусно-параллельной формой''' называется ЯПФ, высота которой на единицу больше длины критического пути, а все входные вершины расположены на первом ярусе. Для заданного графа его каноническая ЯПФ единственна. Высота канонической ЯПФ соответствует [[#Параллельная сложность|параллельной сложности]] алгоритма.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Ярусно-параллельная_форма_графа Ярусно-параллельная форма графа]''
* ''[https://ru.wikipedia.org/wiki/Критический_путь_графа Критический путь графа]''

[[En:Glossary]]

[[Категория:Статьи в работе]]
[[Категория:Algowiki:Справка]]

Глоссарий

2025-03-14T10:05:40Z

ASA: /* Производительность */

=== Временна́я локальность ===
'''Временная локальность''' (temporal locality) показывает среднее число обращений по одному адресу в память за время исполнения всей программы.

=== Вычислительная мощность ===
'''Вычислительная мощность''' (computational power) алгоритма равна отношению числа операций к суммарному объему входных и выходных данных. Она показывает, сколько операций приходится на единицу переданных данных.

=== Вычислительная сложность ===
'''Вычислительная сложность''' (computational complexity) задачи <math>W</math> - количество основных вычислительных шагов лучшего последовательного алгоритма, необходимых для решения задачи на одном процессоре. Вычислительная сложность обычно является некоторой функцией от размера входных данных программы.

=== Вычислительное ядро ===
'''Вычислительное ядро''' (computational kernel) алгоритма - это часть алгоритма, на которую приходится основное время его работы.

=== Граф алгоритма ===
'''Граф алгоритма''' (algorithm graph) - это ориентированный ациклический мультиграф, вершины которого соответствуют операциям алгоритма, а дуги - передаче данных между ними. Вершины графа алгоритма могут соединяться несколькими дугами, в частности когда в качестве разных аргументов одной и той же операции используется одна и та же величина. Граф алгоритма почти всегда является параметризованным графом. В частности, его вид часто зависит от входных данных.

Граф алгоритма используется как удобное представление алгоритма при исследовании его структуры, ресурса параллелизма, а также других свойств. Его можно рассматривать как параметризованную информационную историю. Он сохраняет её информативность, при этом обладая компактностью за счёт параметризации. Разработана методика построения графа алгоритма по исходному тексту программ.

''См. также: [https://ru.wikipedia.org/wiki/Граф_алгоритма Граф алгоритма]''

=== Детерминированность ===
'''Детерминированность''' (determinacy) алгоритма - постоянство структуры вычислительного процесса. Алгоритм выдаёт уникальный и предопределённый результат для заданных входных данных.

=== Избыточные вычисления ===
'''Избыточные вычисления''' (redundant computation) - понятие, которое используют для обозначения разных явлений в параллельных вычислениях.
* В понимании графовой модели вычислений это такие операции, результаты которых нигде не будут использованы. Такие операции появляются в результате ошибок программирования и подлежат удалению из алгоритма.
* Распространено также понимание термина как вычисления, которые ''выполняются более одного раза'' или на более чем одном процессоре. Избыточные вычисления могут использоваться либо в многопроцессорных системах, чтобы минимизировать обмены, либо при недостаточном объеме памяти для хранения всех вычисленных значений.
* Кроме этого, избыточными вычислениями можно назвать те операции, которые появляются при замене последовательного алгоритма на специальный параллельный. У последнего алгоритма больше операций, но меньше длина критического пути графа, этим и обосновывается замена алгоритма. В таком случае реальное ускорение параллельного алгоритма следует считать не в сравнении с однопроцессорной реализацией его самого, а в сравнении с реализацией последовательного алгоритма. В нашей открытой энциклопедии свойств алгоритмов именно последнее толкование термина применяется в категории [[http://algowiki-project.org/ru/%D0%9A%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D1%8F:%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D1%8B_%D1%81_%D0%B8%D0%B7%D0%B1%D1%8B%D1%82%D0%BE%D1%87%D0%BD%D1%8B%D0%BC%D0%B8_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F%D0%BC%D0%B8 Алгоритмы с избыточными вычислениями]].

=== Конечный параллелизм ===
'''Конечный параллелизм''' (finite parallelism) - параллелизм, определяемый информационной независимостью некоторых фрагментов в тексте программы.

=== Координатный параллелизм ===
'''Координатный параллелизм''' (coordinate parallelism) - частный случай [[#Скошенный паралеллизм|скошенного параллелизма]], определяемый циклами ParDO, при котором информационно независимые вершины лежат на гиперплоскостях, перпендикулярных одной из координатных осей.

=== Локальность (обращений в память) ===
'''Локальность (обращений в память)''' (locality) - общее предположение о свойстве работы программ с данными. Заключается в том, что при обращении к некоторым данным велика вероятность, что в скором времени произойдет повторное обращение к тем же или расположенным рядом данным. В частности, на основе данного предположения построена работа кэш-памяти. Различают [[#Локальность команд|локальность команд]] и [[#Локальность использования данных|локальность использования данных]], а также [[#Пространственная локальность|пространственную]] и [[#Временна́я локальность|временну́ю]] локальность.

=== Локальность вычислений ===
'''Локальность вычислений''' (computation locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - команды, из которых состоят программы.

=== Локальность использования данных ===
'''Локальность использования данных''' (data locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - все данные, с которыми оперируют программы во время выполнения.

=== Массовый параллелизм ===
'''Массовый параллелизм''' (mass parallelism) - параллелизм, определяемый информационной независимостью итераций циклов программы.

=== Масштабируемость ===
'''Масштабируемость''' (scalability) - способность системы увеличивать свою [[#Производительность|производительность]] при добавлении ресурсов (обычно аппаратных). Система называется масштабируемой, если она способна увеличивать производительность пропорционально дополнительным ресурсам. Масштабируемость можно оценить через отношение прироста производительности системы к приросту используемых ей ресурсов. Чем ближе это отношение к единице, тем масштабируемость лучше.

=== Масштабируемость параллельной программы ===
'''Масштабируемость параллельной программы''' (scalability of parallel program) определяется относительно конкретного компьютера и показывает, как изменяются динамические характеристики данной программы в зависимости от её [[#Параметры запуска|параметров запуска]].

Наиболее часто рассматриваемые разновидности масштабируемости параллельных программ: [[#Сильная масштабируемость|сильная масштабируемость]], [[#Масштабируемость вширь|масштабируемость вширь]], [[#Слабая масштабируемость|слабая масштабируемость]].

Если при одновременном увеличении числа процессоров <math>p</math> и [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> [[#Эффективность распараллеливания|эффективность распараллеливания]] <math>E</math> остаётся прежней, то данную программу на данном компьютере можно считать масштабируемой.

=== Масштабируемость вширь ===

'''Масштабируемость вширь''' (wide scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> при фиксированном числе процессоров <math>p</math> (<math>p=const</math>).

=== Оценка daps ===
'''Оценка daps''' (daps estimation) - предлагаемая оценка производительности работы с памятью в программе, равна числу выполненных обращений в память в секунду. Построена по аналогии с распространенной оценкой производительности программ — flop/s (floating point operations per second), которая оценивает число операций с плавающей запятой в секунду. Оценка flop/s показывает производительность всей программы с точки зрения производимых вычислений; в то время как daps оценивает производительность программы с точки зрения работы с памятью.

Данная оценка является машинно-зависимой — она вычисляется на основе данных аппаратных датчиков. Служит для проверки точности результатов разрабатываемых нами машинно-независимых оценок локальности, таких как [[#Оценка cvg|cvg]].

=== Оценка cvg ===
'''Оценка cvg''' (cvg estimation) - предлагаемая машинно-независимая оценка локальности обращений в памяти в программе. Рассмотрим первые N обращений в потоке («окно»), и затем разобьем ось ординат (виртуальный адрес обращений) на отрезки длины K – [X .. X+K], [X+K .. X+2K], …, [Y-K .. Y], где [X, Y] - диапазон выделенной под рассматриваемые массивы виртуальной памяти. Таким образом, область построения профиля делится на прямоугольники размером KxN.

Физический смысл такого прямоугольника (при правильно подобранных значениях K и N) заключается в том, что любая последовательность точек, попавших в один прямоугольник, всегда обладает хорошей как пространственной, так и временно́й локальностью. Действительно, при достаточно малом значении K в прямоугольник попадает небольшой локальный фрагмент виртуальной памяти, а, значит, соседние обращения по памяти в любом случае будут расположены близко друг относительно друга. А временна́я локальность внутри прямоугольника не может быть больше N, поэтому при достаточно малом N можно обеспечить и хорошую временну́ю локальность. Однако не имеет смысла брать слишком малые значения для K и N, поскольку в этом случае теряется полезная информация о хорошей локальности не попавшего в прямоугольник фрагмента профиля.

Выделим те прямоугольники, в которые попадает хотя бы одно обращение. Чем меньше таких прямоугольников – тем больше точек попало в одни и те же прямоугольники, тем в общем случае лучше локальность. Пример разбиения профиля на прямоугольники приведен на рис. 1. Здесь для иллюстрации выделено три «окна», в каждом по 6 точек. В первом «окне» всего 2 непустых прямоугольника и самая хорошая локальность их трех вариантов. Во втором «окне» задействованы все 4 прямоугольника, при этом в каждый попало лишь по 1-2 обращения. Третье «окно» включает 3 непустых прямоугольника, и в этом варианте локальность лучше, чем у второго «окна», но хуже, чем у первого.

[[file:cvg.png|thumb|center|500px|Рисунок 1. Пример разбиения профиля на прямоугольники]]

Теперь сдвинем «окно» на одно обращение вправо и снова определим непустые прямоугольники; и так далее для всего профиля обращений. В результате мы получим «покрытие» – последовательность непустых прямоугольников, в каждом из которых содержится хотя бы по одному обращению, т.е. по одной точке профиля.

Далее для каждого «окна» посчитаем число таких непустых прямоугольников (обозначим это число как rects), в результате чего получим последовательность положительных натуральных чисел. Затем посчитаем среднее значение для данной последовательности. Полученное значение назовем оценкой локальности на основе метода покрытий и будем обозначать cvg.

Значение K было решено выбрать равным 64 байт, поскольку это соответствует длине кэш-строки, а в пределах одной кэш-строки пространственная локальность заведомо достаточно хорошая. При этом если запрошено одно значение, то в кэш-память подтянется вся строка из 64 байт, то есть все данные, соответствующие определенному прямоугольнику.

Оптимальное значение N для разных программ может существенно отличаться, но для выполнения корректного сравнения оценка было решено выбрать единственное значение N. Было проведено сравнение результатов для различных значений N, и в результате эмпирическим путем было получено, что наилучшие результаты достигаются при N=512.

=== Параллельная сложность ===
'''Параллельная сложность''' (parallel complexity) алгоритма - число шагов, за которое можно выполнить данный алгоритм в предположении доступности неограниченного числа необходимых процессоров (функциональных устройств, вычислительных узлов, ядер и т.п.). Параллельная сложность алгоритма понимается как высота канонической [[#Ярусно-параллельная форма графа алгоритма|ярусно-параллельной формы]].

=== Параметры запуска ===
'''Параметры запуска''' (startup parameters) параллельной программы - параметры, оказывающие влияние на работу параллельной программы, но не влияющие на реализацию алгоритма работы программы (например: размер задачи, число процессов, размер блока, число процессов на узел и т.п.)
Параметры запуска по типу можно разделить на:
# Аппаратные - относящиеся к параметрам аппаратуры.
# Системные - относящиеся к операционной системе, используемым библиотекам и системным приложениям и их настройкам.
# Программные - влияющие на логику работы программы или вычислительную сложность задачи, различные параметры, предусмотренные разработчиком.

=== Пиковая производительность ===
'''Пиковая производительность''' (peak performance) <math>R_{peak}</math> — теоретический предел [[#Производительность|производительности]] для данного компьютера. Пиковая производительность компьютера вычисляется как сумма пиковых производительностей всех входящих в него вычислительных устройств (процессоров, ускорителей и т.д.). Под пиковой производительностью каждого из вычислительных устройств понимают количество операций в секунду, которые он смог бы теоретически выполнять при полной загрузке всех своих компонент. Надо понимать, что пиковая производительность не только суперкомпьютера, но и, например, любого отдельно взятого процессора является величиной сугубо теоретической, недостижимой на практике.

=== Последовательная сложность ===
'''Последовательная сложность''' (serial complexity) алгоритма - число операций, которые нужно выполнить при его последовательном исполнении.

=== Пространственная локальность ===
'''Пространственная локальность''' (spatial locality) отражает среднее расстояние между несколькими последовательными обращениями в память.

=== Производительность ===
'''Производительность''' (performance) <math>R=Op/t</math> определяется количеством операций <math>Op</math>, производимых данным компьютером в единицу времени. Для высокопроизводительных вычислений в расчёт обычно берут количество арифметических операций в секунду над вещественными данными, представленными в форме с плавающей точкой. Эта величина называется Flop/s (от английского Floating point operations per second).

Поскольку современные суперкомпьютеры производят очень много таких операций в секунду, их производительность измеряется кратными величинами, такими как GFlop/s (<math>10^9</math> операций в секунду), TFlop/s (<math>10^{12}</math>), PFlop/s (<math>10^{15}</math>), EFlop/s (<math>10^{18}</math>). Производительность мощнейших современных суперкомпьютеров уже измеряется в EFlop/s, идёт обсуждение построения систем зеттафлопсного (порядка <math>10^{21}</math> операций в секунду) уровня производительности.

=== Профиль обращений в память ===
'''Профиль обращений в память''' (memory access profile) - последовательность выполняемых в программе обращений к данным в памяти, расположенных в том порядке, в котором обращения происходят в программе.

Обозначим профиль обращений A = {A1,A2,…,AN}, где N – общее число всех обращений при выполнении программы. Номер i элемента Ai в профиле указывает, каким по счету является данное обращение от начала выполнения программы. Любой элемент Аi будем называть элементом профиля. Запись Аi означает, что данный элемент имеет i-й порядковый номер; данная запись не содержит никакой информации о том, к какой переменной в программе происходит данное обращение.

На данный момент рассматриваются в основном обращения к массивам, поскольку они являются самыми распространенными структурами данных. Каждое обращение представлено в профиле некоторым числом. Таким образом, профиль обращений представляет собой последовательность чисел, которыми могут являться: 1) индексы элементов массива (если профиль строится только для одного массива); 2) виртуальные адреса, к которым происходят обращения; 3) физические адреса. Естественно, в рамках одного профиля используются числа только одного типа.

Подобные профили обращений содержат огромное количество полезной информации о работе программы с памятью. Интересным средством анализа профилей является изучение их визуального представления. Пример визуализации профиля приведен на рис. 2. Ось абсцисс — порядковый номер обращения в память, т. е. чем больше номер, тем позже произошло данное обращение. По оси ординат отложен виртуальный адрес памяти, к которому произошло обращение. Каждая точка — это отдельное обращение в память.

[[file:locality_profile.png|thumb|center|500px|Рисунок 2. Визуализация профиля обращений в память]]

Подобные графики сами по себе могут предоставить интересную информацию о поведении программы. Выделенная на рисунке область 1 (и остальные, аналогичные ей области), скорее всего, обладает хорошей пространственной и временно́й локальностью. Хорошей пространственной — потому что используются только соседние по памяти данные; хорошей временно́й — поскольку повторные обращения к этим данным происходят часто. Область 2 также обладает хорошей пространственной локальностью, поскольку соседние обращения происходят к соседним элементам, однако плохой временно́й локальностью, поскольку повторных обращений к данным просто нет.

Помимо получения данных о локальности, исследование визуализации профилей обращений в память является хорошим средством для понимания и определения шаблонов обращений.

Подобный анализ на основе визуализации профиля обращений помогает понять общее поведение программы, однако он не может дать точной количественной информации о взаимодействии программ с памятью. Для этих целей разрабатываются оценки локальности, такие как [[#Оценка daps|daps]] и [[#Оценка cvg|cvg]].

=== Реальная производительность ===
'''Реальная производительность''' (real performance) <math>R_{max}</math> — [[#Производительность|производительность]] данного компьютера на конкретном приложении.

=== Сильная масштабируемость ===
'''Сильная масштабируемость''' (strong scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи (<math>W=const</math>).

=== Скошенный параллелизм ===
'''Скошенный параллелизм''' (skewed parallelism) - параллелизм в пространстве итераций, определяемый поверхностями уровней разверток. Ряд исследователей этим термином пользуется только для случая, когда параллелизм не является [[#Координатный паралеллизм|координатным]].

=== Слабая масштабируемость ===
'''Слабая масштабируемость''' (weak scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи в пересчёте на один процессор (<math>W/p=const</math>).

=== Степень исхода ===
'''Степень исхода''' (degree of a vertex) вершины информационного графа - количество исходящих из данной вершины информационных дуг.

=== Суперлинейное ускорение ===
'''Суперлинейное ускорение''' (super linear speedup) или '''сверхлинейное ускорение''' программы - это [[#Ускорение|ускорение]], превосходящие число используемых процессоров <math>p</math>. Чаще всего объясняется эффектом от использования кэш-памяти.

=== Суперскалярность ===
'''Суперскалярность''' — архитектура вычислительного ядра, позволяющая загружать работой множество исполнительных блоков. Планирование исполнения команд является динамическим и осуществляется самим ядром.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Суперскалярность Суперскалярность]''

=== Ускорение ===
'''Ускорение''' (speedup) работы программы <math>S = T_1/T_p</math> - отношение времени работы некоторой программы на одном процессоре <math>T_1</math> ко времени работы распараллеленной программы при использовании <math>p</math> процессоров <math>T_p</math>.

=== Устойчивость ===
'''Устойчивость''' (stability) алгоритма - свойство алгоритма не увеличивать или увеличивать в незначительной степени погрешности, допущенной в начальных данных или допускаемой при вычислениях.

=== Эквивалентное возмущение ===
'''Эквивалентное возмущение''' (equivalent perturbation) алгоритма - одна из характеристик влияния ошибок округления промежуточных операций на отклонение решения, получаемого алгоритмом, от настоящего решения задачи. Выражается косвенно: влияние ошибок на ответ считается таким же, как если бы данные были заданы с ошибкой, выражаемым эквивалентным возмущением, но задача с такими данными была бы решена точно.

=== Эквивалентное преобразование ===
'''Эквивалентное преобразование''' (equivalent transformaion) программы - такое преобразование, при котором в точности сохраняется результат выполнения программы.

=== Эффективность распараллеливания ===
'''Эффективность распараллеливания''' (parallel efficiency) <math>E = S/p</math> (где <math>S</math> - полученное [[#Ускорение|ускорение]] работы программы, а <math>p</math> - число используемых процессоров) определяет среднюю долю времени выполнения параллельного алгоритма, в течение которого процессоры реально используются для решения задачи. Получение большого ускорения за счёт использования большого числа процессоров зачастую приводит к снижению эффективности.

Если не брать в расчёт эффект [[#Суперлинейное ускорение|суперлинейного ускорения]], то ускорение выполнения программы не превосходит числа используемых процессоров <math>p</math>, а значит, эффективность распараллеливания не превосходит единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о меньшем количестве накладных расходов, а значит, о лучшем качестве распараллеливания программы.

=== Эффективность реализации ===

'''Эффективность реализации''' (implementation efficiency) программы <math>R_{max}/R_{peak}</math> определяется как отношение [[#Реальная производительность|реальной производительности]] <math>R_{max}</math> к [[#Пиковая производительность|пиковой производительности]] <math>R_{peak}</math>.

Поскольку пиковая производительность недостижима на практике, эффективность реализации программы всегда меньше единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о том, что более эффективно задействованы ресурсы компьютера.

=== Ярусно-параллельная форма графа алгоритма ===

'''Ярусно-параллельная форма (ЯПФ)''' (parallel form) - это представление графа алгоритма, в котором:
* все вершины разбиты на перенумерованные подмножества ярусов;
* начальная вершина каждой дуги расположена на ярусе с номером меньшим, чем номер яруса конечной вершины;
* между вершинами, расположенными на одном ярусе, не может быть дуг.

''Высота'' ЯПФ - это число ярусов.
Ширина яруса - число вершин, расположенных на ярусе.
''Ширина'' ЯПФ - это максимальная ширина ярусов в ЯПФ.

'''Канонической ярусно-параллельной формой''' называется ЯПФ, высота которой на единицу больше длины критического пути, а все входные вершины расположены на первом ярусе. Для заданного графа его каноническая ЯПФ единственна. Высота канонической ЯПФ соответствует [[#Параллельная сложность|параллельной сложности]] алгоритма.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Ярусно-параллельная_форма_графа Ярусно-параллельная форма графа]''
* ''[https://ru.wikipedia.org/wiki/Критический_путь_графа Критический путь графа]''

[[En:Glossary]]

[[Категория:Статьи в работе]]
[[Категория:Algowiki:Справка]]

Глоссарий

2025-03-14T10:04:54Z

ASA: /* Производительность */

=== Временна́я локальность ===
'''Временная локальность''' (temporal locality) показывает среднее число обращений по одному адресу в память за время исполнения всей программы.

=== Вычислительная мощность ===
'''Вычислительная мощность''' (computational power) алгоритма равна отношению числа операций к суммарному объему входных и выходных данных. Она показывает, сколько операций приходится на единицу переданных данных.

=== Вычислительная сложность ===
'''Вычислительная сложность''' (computational complexity) задачи <math>W</math> - количество основных вычислительных шагов лучшего последовательного алгоритма, необходимых для решения задачи на одном процессоре. Вычислительная сложность обычно является некоторой функцией от размера входных данных программы.

=== Вычислительное ядро ===
'''Вычислительное ядро''' (computational kernel) алгоритма - это часть алгоритма, на которую приходится основное время его работы.

=== Граф алгоритма ===
'''Граф алгоритма''' (algorithm graph) - это ориентированный ациклический мультиграф, вершины которого соответствуют операциям алгоритма, а дуги - передаче данных между ними. Вершины графа алгоритма могут соединяться несколькими дугами, в частности когда в качестве разных аргументов одной и той же операции используется одна и та же величина. Граф алгоритма почти всегда является параметризованным графом. В частности, его вид часто зависит от входных данных.

Граф алгоритма используется как удобное представление алгоритма при исследовании его структуры, ресурса параллелизма, а также других свойств. Его можно рассматривать как параметризованную информационную историю. Он сохраняет её информативность, при этом обладая компактностью за счёт параметризации. Разработана методика построения графа алгоритма по исходному тексту программ.

''См. также: [https://ru.wikipedia.org/wiki/Граф_алгоритма Граф алгоритма]''

=== Детерминированность ===
'''Детерминированность''' (determinacy) алгоритма - постоянство структуры вычислительного процесса. Алгоритм выдаёт уникальный и предопределённый результат для заданных входных данных.

=== Избыточные вычисления ===
'''Избыточные вычисления''' (redundant computation) - понятие, которое используют для обозначения разных явлений в параллельных вычислениях.
* В понимании графовой модели вычислений это такие операции, результаты которых нигде не будут использованы. Такие операции появляются в результате ошибок программирования и подлежат удалению из алгоритма.
* Распространено также понимание термина как вычисления, которые ''выполняются более одного раза'' или на более чем одном процессоре. Избыточные вычисления могут использоваться либо в многопроцессорных системах, чтобы минимизировать обмены, либо при недостаточном объеме памяти для хранения всех вычисленных значений.
* Кроме этого, избыточными вычислениями можно назвать те операции, которые появляются при замене последовательного алгоритма на специальный параллельный. У последнего алгоритма больше операций, но меньше длина критического пути графа, этим и обосновывается замена алгоритма. В таком случае реальное ускорение параллельного алгоритма следует считать не в сравнении с однопроцессорной реализацией его самого, а в сравнении с реализацией последовательного алгоритма. В нашей открытой энциклопедии свойств алгоритмов именно последнее толкование термина применяется в категории [[http://algowiki-project.org/ru/%D0%9A%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D1%8F:%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D1%8B_%D1%81_%D0%B8%D0%B7%D0%B1%D1%8B%D1%82%D0%BE%D1%87%D0%BD%D1%8B%D0%BC%D0%B8_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F%D0%BC%D0%B8 Алгоритмы с избыточными вычислениями]].

=== Конечный параллелизм ===
'''Конечный параллелизм''' (finite parallelism) - параллелизм, определяемый информационной независимостью некоторых фрагментов в тексте программы.

=== Координатный параллелизм ===
'''Координатный параллелизм''' (coordinate parallelism) - частный случай [[#Скошенный паралеллизм|скошенного параллелизма]], определяемый циклами ParDO, при котором информационно независимые вершины лежат на гиперплоскостях, перпендикулярных одной из координатных осей.

=== Локальность (обращений в память) ===
'''Локальность (обращений в память)''' (locality) - общее предположение о свойстве работы программ с данными. Заключается в том, что при обращении к некоторым данным велика вероятность, что в скором времени произойдет повторное обращение к тем же или расположенным рядом данным. В частности, на основе данного предположения построена работа кэш-памяти. Различают [[#Локальность команд|локальность команд]] и [[#Локальность использования данных|локальность использования данных]], а также [[#Пространственная локальность|пространственную]] и [[#Временна́я локальность|временну́ю]] локальность.

=== Локальность вычислений ===
'''Локальность вычислений''' (computation locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - команды, из которых состоят программы.

=== Локальность использования данных ===
'''Локальность использования данных''' (data locality) - проекция идеи [[#Локальность (обращений в память)|локальности]] на конкретный класс данных в памяти - все данные, с которыми оперируют программы во время выполнения.

=== Массовый параллелизм ===
'''Массовый параллелизм''' (mass parallelism) - параллелизм, определяемый информационной независимостью итераций циклов программы.

=== Масштабируемость ===
'''Масштабируемость''' (scalability) - способность системы увеличивать свою [[#Производительность|производительность]] при добавлении ресурсов (обычно аппаратных). Система называется масштабируемой, если она способна увеличивать производительность пропорционально дополнительным ресурсам. Масштабируемость можно оценить через отношение прироста производительности системы к приросту используемых ей ресурсов. Чем ближе это отношение к единице, тем масштабируемость лучше.

=== Масштабируемость параллельной программы ===
'''Масштабируемость параллельной программы''' (scalability of parallel program) определяется относительно конкретного компьютера и показывает, как изменяются динамические характеристики данной программы в зависимости от её [[#Параметры запуска|параметров запуска]].

Наиболее часто рассматриваемые разновидности масштабируемости параллельных программ: [[#Сильная масштабируемость|сильная масштабируемость]], [[#Масштабируемость вширь|масштабируемость вширь]], [[#Слабая масштабируемость|слабая масштабируемость]].

Если при одновременном увеличении числа процессоров <math>p</math> и [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> [[#Эффективность распараллеливания|эффективность распараллеливания]] <math>E</math> остаётся прежней, то данную программу на данном компьютере можно считать масштабируемой.

=== Масштабируемость вширь ===

'''Масштабируемость вширь''' (wide scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от [[#Вычислительная сложность|вычислительной сложности]] задачи <math>W</math> при фиксированном числе процессоров <math>p</math> (<math>p=const</math>).

=== Оценка daps ===
'''Оценка daps''' (daps estimation) - предлагаемая оценка производительности работы с памятью в программе, равна числу выполненных обращений в память в секунду. Построена по аналогии с распространенной оценкой производительности программ — flop/s (floating point operations per second), которая оценивает число операций с плавающей запятой в секунду. Оценка flop/s показывает производительность всей программы с точки зрения производимых вычислений; в то время как daps оценивает производительность программы с точки зрения работы с памятью.

Данная оценка является машинно-зависимой — она вычисляется на основе данных аппаратных датчиков. Служит для проверки точности результатов разрабатываемых нами машинно-независимых оценок локальности, таких как [[#Оценка cvg|cvg]].

=== Оценка cvg ===
'''Оценка cvg''' (cvg estimation) - предлагаемая машинно-независимая оценка локальности обращений в памяти в программе. Рассмотрим первые N обращений в потоке («окно»), и затем разобьем ось ординат (виртуальный адрес обращений) на отрезки длины K – [X .. X+K], [X+K .. X+2K], …, [Y-K .. Y], где [X, Y] - диапазон выделенной под рассматриваемые массивы виртуальной памяти. Таким образом, область построения профиля делится на прямоугольники размером KxN.

Физический смысл такого прямоугольника (при правильно подобранных значениях K и N) заключается в том, что любая последовательность точек, попавших в один прямоугольник, всегда обладает хорошей как пространственной, так и временно́й локальностью. Действительно, при достаточно малом значении K в прямоугольник попадает небольшой локальный фрагмент виртуальной памяти, а, значит, соседние обращения по памяти в любом случае будут расположены близко друг относительно друга. А временна́я локальность внутри прямоугольника не может быть больше N, поэтому при достаточно малом N можно обеспечить и хорошую временну́ю локальность. Однако не имеет смысла брать слишком малые значения для K и N, поскольку в этом случае теряется полезная информация о хорошей локальности не попавшего в прямоугольник фрагмента профиля.

Выделим те прямоугольники, в которые попадает хотя бы одно обращение. Чем меньше таких прямоугольников – тем больше точек попало в одни и те же прямоугольники, тем в общем случае лучше локальность. Пример разбиения профиля на прямоугольники приведен на рис. 1. Здесь для иллюстрации выделено три «окна», в каждом по 6 точек. В первом «окне» всего 2 непустых прямоугольника и самая хорошая локальность их трех вариантов. Во втором «окне» задействованы все 4 прямоугольника, при этом в каждый попало лишь по 1-2 обращения. Третье «окно» включает 3 непустых прямоугольника, и в этом варианте локальность лучше, чем у второго «окна», но хуже, чем у первого.

[[file:cvg.png|thumb|center|500px|Рисунок 1. Пример разбиения профиля на прямоугольники]]

Теперь сдвинем «окно» на одно обращение вправо и снова определим непустые прямоугольники; и так далее для всего профиля обращений. В результате мы получим «покрытие» – последовательность непустых прямоугольников, в каждом из которых содержится хотя бы по одному обращению, т.е. по одной точке профиля.

Далее для каждого «окна» посчитаем число таких непустых прямоугольников (обозначим это число как rects), в результате чего получим последовательность положительных натуральных чисел. Затем посчитаем среднее значение для данной последовательности. Полученное значение назовем оценкой локальности на основе метода покрытий и будем обозначать cvg.

Значение K было решено выбрать равным 64 байт, поскольку это соответствует длине кэш-строки, а в пределах одной кэш-строки пространственная локальность заведомо достаточно хорошая. При этом если запрошено одно значение, то в кэш-память подтянется вся строка из 64 байт, то есть все данные, соответствующие определенному прямоугольнику.

Оптимальное значение N для разных программ может существенно отличаться, но для выполнения корректного сравнения оценка было решено выбрать единственное значение N. Было проведено сравнение результатов для различных значений N, и в результате эмпирическим путем было получено, что наилучшие результаты достигаются при N=512.

=== Параллельная сложность ===
'''Параллельная сложность''' (parallel complexity) алгоритма - число шагов, за которое можно выполнить данный алгоритм в предположении доступности неограниченного числа необходимых процессоров (функциональных устройств, вычислительных узлов, ядер и т.п.). Параллельная сложность алгоритма понимается как высота канонической [[#Ярусно-параллельная форма графа алгоритма|ярусно-параллельной формы]].

=== Параметры запуска ===
'''Параметры запуска''' (startup parameters) параллельной программы - параметры, оказывающие влияние на работу параллельной программы, но не влияющие на реализацию алгоритма работы программы (например: размер задачи, число процессов, размер блока, число процессов на узел и т.п.)
Параметры запуска по типу можно разделить на:
# Аппаратные - относящиеся к параметрам аппаратуры.
# Системные - относящиеся к операционной системе, используемым библиотекам и системным приложениям и их настройкам.
# Программные - влияющие на логику работы программы или вычислительную сложность задачи, различные параметры, предусмотренные разработчиком.

=== Пиковая производительность ===
'''Пиковая производительность''' (peak performance) <math>R_{peak}</math> — теоретический предел [[#Производительность|производительности]] для данного компьютера. Пиковая производительность компьютера вычисляется как сумма пиковых производительностей всех входящих в него вычислительных устройств (процессоров, ускорителей и т.д.). Под пиковой производительностью каждого из вычислительных устройств понимают количество операций в секунду, которые он смог бы теоретически выполнять при полной загрузке всех своих компонент. Надо понимать, что пиковая производительность не только суперкомпьютера, но и, например, любого отдельно взятого процессора является величиной сугубо теоретической, недостижимой на практике.

=== Последовательная сложность ===
'''Последовательная сложность''' (serial complexity) алгоритма - число операций, которые нужно выполнить при его последовательном исполнении.

=== Пространственная локальность ===
'''Пространственная локальность''' (spatial locality) отражает среднее расстояние между несколькими последовательными обращениями в память.

=== Производительность ===
'''Производительность''' (performance) <math>R=Op/t</math> определяется количеством операций <math>Op</math>, производимых данным компьютером в единицу времени. Для высокопроизводительных вычислений в расчёт обычно берут количество арифметических операций в секунду над вещественными данными, представленными в форме с плавающей точкой. Эта величина называется Flop/s (от английского Floating point operations per second).

Поскольку современные суперкомпьютеры производят очень много таких операций в секунду, их производительность измеряется кратными величинами, такими как GFlop/s (<math>10^9</math> операций в секунду), TFlop/s (<math>10^{12}</math>), PFlop/s (<math>10^{15}</math>), EFlop/s (<math>10^{18}</math>). Производительность мощнейших современных суперкомпьютеров уже измеряется в EFlop/s, дёт обсуждение построения систем зеттафлопсного (порядка <math>10^{21}</math> операций в секунду) уровня производительности.

=== Профиль обращений в память ===
'''Профиль обращений в память''' (memory access profile) - последовательность выполняемых в программе обращений к данным в памяти, расположенных в том порядке, в котором обращения происходят в программе.

Обозначим профиль обращений A = {A1,A2,…,AN}, где N – общее число всех обращений при выполнении программы. Номер i элемента Ai в профиле указывает, каким по счету является данное обращение от начала выполнения программы. Любой элемент Аi будем называть элементом профиля. Запись Аi означает, что данный элемент имеет i-й порядковый номер; данная запись не содержит никакой информации о том, к какой переменной в программе происходит данное обращение.

На данный момент рассматриваются в основном обращения к массивам, поскольку они являются самыми распространенными структурами данных. Каждое обращение представлено в профиле некоторым числом. Таким образом, профиль обращений представляет собой последовательность чисел, которыми могут являться: 1) индексы элементов массива (если профиль строится только для одного массива); 2) виртуальные адреса, к которым происходят обращения; 3) физические адреса. Естественно, в рамках одного профиля используются числа только одного типа.

Подобные профили обращений содержат огромное количество полезной информации о работе программы с памятью. Интересным средством анализа профилей является изучение их визуального представления. Пример визуализации профиля приведен на рис. 2. Ось абсцисс — порядковый номер обращения в память, т. е. чем больше номер, тем позже произошло данное обращение. По оси ординат отложен виртуальный адрес памяти, к которому произошло обращение. Каждая точка — это отдельное обращение в память.

[[file:locality_profile.png|thumb|center|500px|Рисунок 2. Визуализация профиля обращений в память]]

Подобные графики сами по себе могут предоставить интересную информацию о поведении программы. Выделенная на рисунке область 1 (и остальные, аналогичные ей области), скорее всего, обладает хорошей пространственной и временно́й локальностью. Хорошей пространственной — потому что используются только соседние по памяти данные; хорошей временно́й — поскольку повторные обращения к этим данным происходят часто. Область 2 также обладает хорошей пространственной локальностью, поскольку соседние обращения происходят к соседним элементам, однако плохой временно́й локальностью, поскольку повторных обращений к данным просто нет.

Помимо получения данных о локальности, исследование визуализации профилей обращений в память является хорошим средством для понимания и определения шаблонов обращений.

Подобный анализ на основе визуализации профиля обращений помогает понять общее поведение программы, однако он не может дать точной количественной информации о взаимодействии программ с памятью. Для этих целей разрабатываются оценки локальности, такие как [[#Оценка daps|daps]] и [[#Оценка cvg|cvg]].

=== Реальная производительность ===
'''Реальная производительность''' (real performance) <math>R_{max}</math> — [[#Производительность|производительность]] данного компьютера на конкретном приложении.

=== Сильная масштабируемость ===
'''Сильная масштабируемость''' (strong scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи (<math>W=const</math>).

=== Скошенный параллелизм ===
'''Скошенный параллелизм''' (skewed parallelism) - параллелизм в пространстве итераций, определяемый поверхностями уровней разверток. Ряд исследователей этим термином пользуется только для случая, когда параллелизм не является [[#Координатный паралеллизм|координатным]].

=== Слабая масштабируемость ===
'''Слабая масштабируемость''' (weak scaling) - зависимость [[#Производительность|производительности]] <math>R</math> от количества процессоров <math>p</math> при фиксированной [[#Вычислительная сложность|вычислительной сложности]] задачи в пересчёте на один процессор (<math>W/p=const</math>).

=== Степень исхода ===
'''Степень исхода''' (degree of a vertex) вершины информационного графа - количество исходящих из данной вершины информационных дуг.

=== Суперлинейное ускорение ===
'''Суперлинейное ускорение''' (super linear speedup) или '''сверхлинейное ускорение''' программы - это [[#Ускорение|ускорение]], превосходящие число используемых процессоров <math>p</math>. Чаще всего объясняется эффектом от использования кэш-памяти.

=== Суперскалярность ===
'''Суперскалярность''' — архитектура вычислительного ядра, позволяющая загружать работой множество исполнительных блоков. Планирование исполнения команд является динамическим и осуществляется самим ядром.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Суперскалярность Суперскалярность]''

=== Ускорение ===
'''Ускорение''' (speedup) работы программы <math>S = T_1/T_p</math> - отношение времени работы некоторой программы на одном процессоре <math>T_1</math> ко времени работы распараллеленной программы при использовании <math>p</math> процессоров <math>T_p</math>.

=== Устойчивость ===
'''Устойчивость''' (stability) алгоритма - свойство алгоритма не увеличивать или увеличивать в незначительной степени погрешности, допущенной в начальных данных или допускаемой при вычислениях.

=== Эквивалентное возмущение ===
'''Эквивалентное возмущение''' (equivalent perturbation) алгоритма - одна из характеристик влияния ошибок округления промежуточных операций на отклонение решения, получаемого алгоритмом, от настоящего решения задачи. Выражается косвенно: влияние ошибок на ответ считается таким же, как если бы данные были заданы с ошибкой, выражаемым эквивалентным возмущением, но задача с такими данными была бы решена точно.

=== Эквивалентное преобразование ===
'''Эквивалентное преобразование''' (equivalent transformaion) программы - такое преобразование, при котором в точности сохраняется результат выполнения программы.

=== Эффективность распараллеливания ===
'''Эффективность распараллеливания''' (parallel efficiency) <math>E = S/p</math> (где <math>S</math> - полученное [[#Ускорение|ускорение]] работы программы, а <math>p</math> - число используемых процессоров) определяет среднюю долю времени выполнения параллельного алгоритма, в течение которого процессоры реально используются для решения задачи. Получение большого ускорения за счёт использования большого числа процессоров зачастую приводит к снижению эффективности.

Если не брать в расчёт эффект [[#Суперлинейное ускорение|суперлинейного ускорения]], то ускорение выполнения программы не превосходит числа используемых процессоров <math>p</math>, а значит, эффективность распараллеливания не превосходит единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о меньшем количестве накладных расходов, а значит, о лучшем качестве распараллеливания программы.

=== Эффективность реализации ===

'''Эффективность реализации''' (implementation efficiency) программы <math>R_{max}/R_{peak}</math> определяется как отношение [[#Реальная производительность|реальной производительности]] <math>R_{max}</math> к [[#Пиковая производительность|пиковой производительности]] <math>R_{peak}</math>.

Поскольку пиковая производительность недостижима на практике, эффективность реализации программы всегда меньше единицы. Чем ближе этот показатель к единице, тем лучше для пользователя, поскольку говорит о том, что более эффективно задействованы ресурсы компьютера.

=== Ярусно-параллельная форма графа алгоритма ===

'''Ярусно-параллельная форма (ЯПФ)''' (parallel form) - это представление графа алгоритма, в котором:
* все вершины разбиты на перенумерованные подмножества ярусов;
* начальная вершина каждой дуги расположена на ярусе с номером меньшим, чем номер яруса конечной вершины;
* между вершинами, расположенными на одном ярусе, не может быть дуг.

''Высота'' ЯПФ - это число ярусов.
Ширина яруса - число вершин, расположенных на ярусе.
''Ширина'' ЯПФ - это максимальная ширина ярусов в ЯПФ.

'''Канонической ярусно-параллельной формой''' называется ЯПФ, высота которой на единицу больше длины критического пути, а все входные вершины расположены на первом ярусе. Для заданного графа его каноническая ЯПФ единственна. Высота канонической ЯПФ соответствует [[#Параллельная сложность|параллельной сложности]] алгоритма.

''См. также:''
* ''[https://ru.wikipedia.org/wiki/Ярусно-параллельная_форма_графа Ярусно-параллельная форма графа]''
* ''[https://ru.wikipedia.org/wiki/Критический_путь_графа Критический путь графа]''

[[En:Glossary]]

[[Категория:Статьи в работе]]
[[Категория:Algowiki:Справка]]

Уравнение Пуассона, решение дискретным преобразованием Фурье

2025-02-21T11:20:05Z

ASA:

{{level-a}}

{{algorithm
| name = Уравнение Пуассона, решение дискретным преобразованием Фурье
| serial_complexity = <math>N^3(6\text{log}_2 N+1)</math>
| pf_height = <math>6N(\text{log}_2N)+1</math>
| pf_width = <math>N^2</math>
| input_data = <math>N^3</math>
| output_data = <math>N^3</math>
}}

Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Уравнение Пуассона для многомерного пространства имеет вид:

<math>
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,
</math>

где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:

<math>
B(\phi)=F, \mathbf{x} \in \Gamma(D),
</math>

где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.

Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.

Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид

<math>
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N.
</math>

Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.

=== Математическое описание алгоритма ===
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:

<math>
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,
</math>

где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия

<math>
\begin{align}
\phi_{0,j,k} &= \phi_{N_x,j,k},\\
\phi_{i,0,k} &= \phi_{i,N_y,k},\\
\phi_{i,j,0} &= \phi_{i,j,N_z}.
\end{align}
</math>

Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:

<math>
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i}
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.
</math>

Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:

<math>
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},
</math>

где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.

=== Вычислительное ядро алгоритма ===
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как

<math>
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)}
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],
</math>

откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.

=== Макроструктура алгоритма ===
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.

=== Схема реализации последовательного алгоритма ===
Введем для краткости следующие обозначения сеточных функций:
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.
Тогда алгоритм запишется следующим образом:
# Вычисление <math>\text{FFT}_x(f_h)</math>
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math>
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math>
# Расчет <math>\Phi_h</math> по <math>F_h</math>
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math>
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math>
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math>
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.

=== Последовательная сложность алгоритма ===

Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.

=== Информационный граф ===
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.

[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]

Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.

=== Ресурс параллелизма алгоритма ===
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.

=== Входные и выходные данные алгоритма ===
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.

=== Свойства алгоритма ===

Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма убывает быстрее, чем <math>N^2</math>.

Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW].
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5).
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):
<source lang="fortran">
! x - transform
do k = 1, k1
do j = 1, j1
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )
enddo
enddo
! y - transform
do k = 1, k1
do i = 1, i1
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )
enddo
enddo
! z - transform and dividing by eigenvalue
do j = 1, j1
do i = 1, i1
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )
! Dividing by eigenvalue of Laplace operator
sinx = sin((i-1) * Pi / i1)^2 * 4
siny = sin((j-1) * Pi / j1)^2 * 4
do k = 1, k1
sinz = sin((k-1) * Pi / k1)^2 * 4
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)
enddo
enddo
enddo
</source>
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:

<source lang="fortran">
! inverse x - transform
do k = 1, k1
do j = 1, j1
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)
enddo
enddo
! inverse y - transform
do k = 1, k1
do i = 1, i1
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)
enddo
enddo
! inverse z - transform
do j = 1, j1
do i = 1, i1
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )
enddo
enddo
</source>
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью.
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей
заданное множество одномерных БПФ.

Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.

Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).

Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.

=== Возможные способы и особенности параллельной реализации алгоритма ===
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.

Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.

При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:

[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]

Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма.

Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27
(2001) 1921–1936.</ref>.

В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Законченные статьи]]

[[En:Poisson equation, solving with DFT]]

Уравнение Пуассона, решение дискретным преобразованием Фурье

2025-02-21T11:18:44Z

ASA:

{{level-a}}

{{algorithm
| name = Уравнение Пуассона, решение дискретным преобразованием Фурье
| serial_complexity = <math>N^3(6\text{log}_2 N+1)</math>
| pf_height = <math>6N(\text{log}_2N)+1</math>
| pf_width = <math>-</math>
| input_data = <math>N^3</math>
| output_data = <math>N^3</math>
}}

Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Уравнение Пуассона для многомерного пространства имеет вид:

<math>
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,
</math>

где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:

<math>
B(\phi)=F, \mathbf{x} \in \Gamma(D),
</math>

где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.

Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.

Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид

<math>
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N.
</math>

Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.

=== Математическое описание алгоритма ===
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:

<math>
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,
</math>

где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия

<math>
\begin{align}
\phi_{0,j,k} &= \phi_{N_x,j,k},\\
\phi_{i,0,k} &= \phi_{i,N_y,k},\\
\phi_{i,j,0} &= \phi_{i,j,N_z}.
\end{align}
</math>

Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:

<math>
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i}
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.
</math>

Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:

<math>
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},
</math>

где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.

=== Вычислительное ядро алгоритма ===
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как

<math>
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)}
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],
</math>

откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.

=== Макроструктура алгоритма ===
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.

=== Схема реализации последовательного алгоритма ===
Введем для краткости следующие обозначения сеточных функций:
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.
Тогда алгоритм запишется следующим образом:
# Вычисление <math>\text{FFT}_x(f_h)</math>
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math>
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math>
# Расчет <math>\Phi_h</math> по <math>F_h</math>
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math>
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math>
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math>
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.

=== Последовательная сложность алгоритма ===

Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.

=== Информационный граф ===
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.

[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]

Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.

=== Ресурс параллелизма алгоритма ===
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.

=== Входные и выходные данные алгоритма ===
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.

=== Свойства алгоритма ===

Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма убывает быстрее, чем <math>N^2</math>.

Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW].
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5).
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):
<source lang="fortran">
! x - transform
do k = 1, k1
do j = 1, j1
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )
enddo
enddo
! y - transform
do k = 1, k1
do i = 1, i1
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )
enddo
enddo
! z - transform and dividing by eigenvalue
do j = 1, j1
do i = 1, i1
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )
! Dividing by eigenvalue of Laplace operator
sinx = sin((i-1) * Pi / i1)^2 * 4
siny = sin((j-1) * Pi / j1)^2 * 4
do k = 1, k1
sinz = sin((k-1) * Pi / k1)^2 * 4
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)
enddo
enddo
enddo
</source>
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:

<source lang="fortran">
! inverse x - transform
do k = 1, k1
do j = 1, j1
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)
enddo
enddo
! inverse y - transform
do k = 1, k1
do i = 1, i1
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)
enddo
enddo
! inverse z - transform
do j = 1, j1
do i = 1, i1
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )
enddo
enddo
</source>
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью.
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей
заданное множество одномерных БПФ.

Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.

Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).

Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.

=== Возможные способы и особенности параллельной реализации алгоритма ===
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.

Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.

При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:

[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]

Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма.

Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27
(2001) 1921–1936.</ref>.

В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Законченные статьи]]

[[En:Poisson equation, solving with DFT]]

Уравнение Пуассона, решение дискретным преобразованием Фурье

2025-02-21T11:18:11Z

ASA:

{{level-a}}

{{algorithm
| name = Уравнение Пуассона, решение дискретным преобразованием Фурье
| serial_complexity = <math>N^3(6\text{log}_2 N+1)</math>
| pf_height = <math>6N(\text{log}_2N)+1</math>
| pf_width = <math></math>
| input_data = <math>N^3</math>
| output_data = <math>N^3</math>
}}

Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Уравнение Пуассона для многомерного пространства имеет вид:

<math>
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,
</math>

где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:

<math>
B(\phi)=F, \mathbf{x} \in \Gamma(D),
</math>

где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.

Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.

Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид

<math>
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N.
</math>

Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.

=== Математическое описание алгоритма ===
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:

<math>
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,
</math>

где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия

<math>
\begin{align}
\phi_{0,j,k} &= \phi_{N_x,j,k},\\
\phi_{i,0,k} &= \phi_{i,N_y,k},\\
\phi_{i,j,0} &= \phi_{i,j,N_z}.
\end{align}
</math>

Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:

<math>
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i}
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.
</math>

Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:

<math>
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},
</math>

где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.

=== Вычислительное ядро алгоритма ===
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как

<math>
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)}
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],
</math>

откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.

=== Макроструктура алгоритма ===
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.

=== Схема реализации последовательного алгоритма ===
Введем для краткости следующие обозначения сеточных функций:
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.
Тогда алгоритм запишется следующим образом:
# Вычисление <math>\text{FFT}_x(f_h)</math>
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math>
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math>
# Расчет <math>\Phi_h</math> по <math>F_h</math>
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math>
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math>
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math>
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.

=== Последовательная сложность алгоритма ===

Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.

=== Информационный граф ===
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.

[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]

Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.

=== Ресурс параллелизма алгоритма ===
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.

=== Входные и выходные данные алгоритма ===
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.

=== Свойства алгоритма ===

Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма убывает быстрее, чем <math>N^2</math>.

Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW].
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5).
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):
<source lang="fortran">
! x - transform
do k = 1, k1
do j = 1, j1
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )
enddo
enddo
! y - transform
do k = 1, k1
do i = 1, i1
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )
enddo
enddo
! z - transform and dividing by eigenvalue
do j = 1, j1
do i = 1, i1
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )
! Dividing by eigenvalue of Laplace operator
sinx = sin((i-1) * Pi / i1)^2 * 4
siny = sin((j-1) * Pi / j1)^2 * 4
do k = 1, k1
sinz = sin((k-1) * Pi / k1)^2 * 4
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)
enddo
enddo
enddo
</source>
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:

<source lang="fortran">
! inverse x - transform
do k = 1, k1
do j = 1, j1
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)
enddo
enddo
! inverse y - transform
do k = 1, k1
do i = 1, i1
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)
enddo
enddo
! inverse z - transform
do j = 1, j1
do i = 1, i1
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )
enddo
enddo
</source>
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью.
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей
заданное множество одномерных БПФ.

Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.

Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).

Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.

=== Возможные способы и особенности параллельной реализации алгоритма ===
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.

Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.

При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:

[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]

Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма.

Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27
(2001) 1921–1936.</ref>.

В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Законченные статьи]]

[[En:Poisson equation, solving with DFT]]

Стабилизированный метод бисопряженных градиентов (BiCGStab)

2025-02-20T11:19:59Z

ASA:

Авторы описания:
[https://algowiki-project.org/ru/Участник:Novikov_alexanderА.Новиков] (разделы 1.4, 1.6, 1.7, 3),
[https://algowiki-project.org/ru/Участник:EasyBreezyА.Гаврилов] (разделы 1.1-1.3, 1.5, 1.8, 1.9, 3)

{{algorithm
| name = BiCGStab
| serial_complexity = <math> O(I \cdot N^2) </math>, где <math> N </math> - размерность СЛАУ, <math>I</math> - количество итераций
| pf_height = <math> O(k\cdot(6 \sqrt N + 4N + 5 \lceil \frac{N}{p} \rceil)) </math>
| pf_width = <math> 2 \sqrt N </math>
| input_data = <math>N^2+N</math>
| output_data = <math>N</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Стабилизированный метод бисопряженных градиентов, так же известный как BiCGStab (BiConjugate Gradient Stabilized method), был предложен голландским математиком Хенком ван дер Ворстом<ref>Henk A. vander Vorst, Iterative Krylov Methods for Large Linear Systems, Cambridge University Press 2003, 230p</ref> в 1992 году. Статья, в которой описывался метод, стала самым цитируемым научным трудом в области математики в 1990х годах.

Метод появился, как ответ на задачу о построении способа решения систем линейных алгебраических уравнений произвольного вида. На момент появления BiCGStab уже существовали методы решения СЛАУ произвольного типа, в том числе и в комплексном пространстве, например метод бисопряженных градиентов. Однако существующие на тот момент методы либо обладали недостаточной скоростью сходимости, либо использовали в вычислениях тяжелые операции, такие как транспонирования матрицы, которые усложняли распараллеливание на многопроцессорных машинах.

BiCGStab является итерационным методом решения систем линейных алгебраических уравнений. Мощь метода заключается в том, что его можно применять к матрицам общего вида, в том числе с комплексными коэффициентами. В процессе выполнения BiCGStab не использует для вычисления плохо распараллеливаемых операций, не допускает накопления погрешностей округления и нестабильного поведения невязки. Эти факторы выгодно отличают его от предшественников: метода бисопряженных градиентов и квадратичного метода сопряженных градиентов, из которого BiCGStab фактически и вытекает. К преимуществам так же можно добавить более высокую в общем случае скорость сходимости относительно ближайших конкурентов. Тем не менее, для некоторых видов СЛАУ BiCGStab может уступать более простым методам.<ref>Горбаченко В.И, Вычислительная линейная алгебра с примерами на MATLAB. — СПб.: БХВ-Петербург, 2011. — 320 с.: ил. — (Учебное пособие)</ref>

Благодаря свойствам алгоритма область применения метода весьма широка. Фактически, он используется во всех задачах, где требуется решать СЛАУ, в том числе СЛАУ большой размерности, к которым сводится большое количество численных методов, применяемых при решении задач математического моделирования.

BiCGStab относится к классу так называемых проекционных методов. Основная идея методов данного класса: искать итерационным способом наилучшее приближение решения в некотором подпространстве пространства <math>R^n</math>, и чем шире подпространство, в котором ищется приближение решения, тем ближе будет приближенное решение к точному на каждой итерации. В качестве такого подпространства используются пространства Крылова, порожденные матрицей системы и невязкой первого приближения: <math>K^m (A, r^0) = \rm span(r^0, Ar^0, A^2r^0, ..., A^{m-1} r^0)</math>.

Изложим основную идею любого проекционного метода, заложенную в том числе и в BiCGStab. Для простоты выкладок и рассуждений здесь и далее будем считать, что матрица системы и ее правая часть вещественны. Без ограничения общности все дальнейшие рассуждения могут быть перенесены и на комплексный случай. Итак, пусть решается система <math>Ax=b</math> с невырожденной матрицей <math>A \in R^{n \times n}</math> и ненулевым вектором <math>b \in R^n</math>. Имеются два подпространства <math>K_n</math> и <math>L_n</math>. Требуется найти вектор <math>x \in K_n</math>, который обеспечивает решение системы, оптимальное относительно подпространства <math>L</math>, то есть требуется выполнение условия Петрова-Галеркина: <math>(Ax,z)=(b,z), \forall z \in L_n</math>. В данном случае вектор x называется обобщенным решением системы.

Условие Петрова-Галеркина можно записать и через определение невязки. Пусть <math>r = b - Ax</math> - невязка, тогда условие Петрова-Галеркина перепишется в виде: <math>(b - Ax, z)=(r, z),\forall z \in L_n</math>. Это равносильно тому, что вектор невязки ортогонален пространству <math>L_n</math>.

Пусть для СЛАУ известно некоторое приближение <math>x^0</math> точного решения <math>x^*</math>. Данное приближение требуется уточнить поправкой <math> \delta: b - Ax^0 + \delta \perp L</math>. Невязка уточненного решения имеет вид: <math>r_{new} = b - Ax^0 + \delta = r^0- A\delta</math>. Условие Петрова-Галеркина тогда можно переписать так: <math>(r_{new}, z)= r^0 - (A\delta, z) = 0, \forall z \in L</math>

Пусть <math>\rm dim K = dim L = m, V = (v_1, ..., v_n) \in R^{n \times m}, W = (w_1, ... w_n) \in R^{n \times m}</math>, где <math>V</math> и <math>W</math> – матрицы, столбцы которых образуют базисы пространств <math>K</math> и <math>L</math> соответственно. Пусть так же <math> \delta = Vy, z = Wq</math>, где <math>y</math> – коэффициенты разложения вектора поправки по базису пространства <math>K</math>, а <math>q</math> – коэффициенты разложения вектора <math>z</math> в пространстве <math>L</math>. Тогда новое приближение решения можно записать в виде: <math>x^1 = x^0 + \delta= x^0 + Vy</math>. Из условия ортогональности Петрова-Галеркина получаем, что: <math>(r - AVy, Wq) = (W^Tr^0 - AVy, q) = 0</math>. Поскольку <math>q \neq 0</math>, то получаем СЛАУ для вектора <math>y</math>: <math>W^TAVy = W^Tr^0</math>. Если предположить, что матрица <math>W^TAVy</math> невырождена, то вектор y однозначно определяется и равен: <math>y = W^TAV^{-1}W^Tr^0</math>. Подставляя найденные коэффициенты разложения в выражение для первого приближения получаем: <math>x^1 = x^0 + \delta = x^0 + W^TAV^{-1}W^Tr^0y</math>

Подведем итог. Общий порядок шагов любого проекционного метода следующий:
#Выбрать пару подпространств <math>K</math> и <math>L</math>
#Найти базис V пространства K и базис W пространства <math>L</math>;
#Вычислить невязку
#Найти <math>y = W^T AV^{-1} W^T r^0</math>
#Положить <math>x = x + Vy</math>
#Если не достигнут критерий остановки итерационного процесса, то повторить алгоритм, начиная с первого шага.

Как будет показано далее, в BiCGStab не требуется вычислять матрицу <math>W^T AV^{-1}</math> в явном виде.

=== Математическое описание алгоритма ===

Рассмотрим СЛАУ с вещественными коэффициентами:
<center><math>Ax = b, \quad A \in R^{N \times N}, \quad b \in R^N.</math></center>

В основу алгоритма ложиться идея проекционного метода и использование свойства A-бисопряженности системы векторов, а именно: векторы <math>p^1, p^2, ...</math> и <math>\overline p^1, \overline p^2, ...</math> бисопряжены, если <math>(Ap^i,p^j ) = 0</math>, при <math>i \neq j</math>. Фактически, данное условие эквивалентно биортогональности относительно энергетического скалярного произведения.

Общая концепция проекционных методов предписывает нам выбрать два подпространства. В нашем случае подпространства мы выберем два подпространства, задаваемые матрицей системы А, вектором невязки на нулевой итерации <math>r^0</math> и вектором <math>\overline r^0</math>. который выбирается из условия <math>(r^0, \overline r^0) \neq 0</math>:
<center><math>K = K^k(A, r^0),\quad L = K^k(A, \overline r^0).</math></center>
Метод основан на построении биортогонального базиса <math>p^0, p^1, ..., p^k, ... </math> пространства <math>K^k (A, r^0) </math> и вычислении поправки такой, что новое приближение на очередной итерации было бы ортогонально второму подпространству Крылова. Базисные вектора строятся до тех пор, пока не будет достигнут критерий остановки итерационного процесса, а каждое последующее приближение формируется, как сумма приближения на предыдущей итерации и найденной поправки. Критерием останова итерационного процесса является достижение невязкой значения, которое меньше некоторого наперед заданного <math>\epsilon</math>.

Основной итерационный процесс задается формулами:
<center><math>x^{k + 1} = x^k + \alpha_k p_k + \omega_k s_k</math></center>
<center><math>p^{k + 1} = r^{k + 1} + \beta_k p_k - \omega_k Ap_k</math></center>
где:
#<math>x^{k + 1}</math> - приближение на следующей итерации
#<math>x^k</math> - приближение на предыдущей итерации
#<math>p_k</math> - базисный вектор подпространства Крылова, порожденного матрице СЛАУ и невязкой
#<math>\alpha_k, \omega_k</math> - вспомогательные скаляры, определяемые для каждого шага итерации
#<math>s_k</math> - вспомогательный вектор
#<math>p^{k + 1}</math> - <math>k + 1</math>-ый базисный вектор
#<math>r^{k + 1}</math> - невязка <math>k + 1</math>-ой итерации
#<math>\beta_k</math> - вспомогательный коэффициент

Вспомогательный вектор выражается следующим образом:
*<math>s_k = r^k - \alpha_k Ap_k</math>

Вспомогательные коэффициенты вычисляются по формулам:
*<math>\alpha_k = \frac{(r^k, \overline r^0)}{(Ap_k, \overline r^0)}</math>
*<math>\omega_k = \frac{(As_k, s_k)}{(As_k, As_k)}</math>
*<math>\beta_k = \frac{(r^{k + 1}, \overline r^0)}{(r^k, \overline r^0)}</math>

Подведем итог и запишем итерационный процесс

:Подготовительный этап:
#Выбирается некоторое начальное приближение <math>x^0</math>
#По выбранному приближению находится невязка <math>r^0 = b - Ax^0</math>
#Из условия <math>(r^0, \overline r^0) \neq 0</math> выбирается вектор <math>\overline r^0</math>
#Положим <math>p^0 = r^0</math>
#Устанавливаем счетчик итераций: <math>n = 0</math>
:Итерационный процесс:
#Находим <math>\alpha_k</math>
#По найденному <math>\alpha_k</math> вычисляем <math>s_k</math>
#По найденному <math>s_k</math> вычисляется вспомогательный коэффициент <math>\omega_k</math>
#Находится новое приближение <math>x^{k + 1}</math>
#Вычисляется невязка <math>r^{k + 1}</math>. Если выполнено условие <math>\parallel r^{k + 1} \parallel < \epsilon</math>, то алгоритм завершается.
#Вычисляется вспомогательный коэффициент <math>\beta_k</math>
#Вычисляется новый базисный вектор: <math>p^{k + 1}</math>
#Увеличивается номер итерации: <math>n = n + 1</math>
#Переход к первому шагу итерационного процесса.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро полностью совпадает с итерационным процессом. Подготовка к итерационному процессу в ядро не включается.

=== Макроструктура алгоритма ===
На каждой итерации алгоритма используются:
# [[Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант]] x 4 раза
# [[Умножение плотной матрицы на вектор ]] х 2 раза

===Схема реализации последовательного алгоритма===

=== Последовательная сложность алгоритма ===

Всего в вычислительном блоке алгоритма присутствует 20 трудоемких операций: 2 операции умножения матрицы на вектор, 6 скалярных произведений и 6 сложений/вычитаний векторов и 6 умножений вектора на число.

Каждое скалярное произведение требует <math>N</math> произведений и <math>N - 1</math> сложение, то есть <math>2N - 1</math> операции. Скалярных произведений всего 6 штук (включая поиск нормы), что дает нам <math>12N - 6</math> операций.

Умножение матрицы размерности <math>N \times N</math> на вектор эквивалентно взятию еще <math>N</math> скаляров, и так как таких операций в вычислительном ядре 2, то дополнительно имеется еще <math>2N(2N - 1)</math> операций.

Наконец, сложение или вычитание векторов требует <math>6N</math> соотвествующих операций. Столько же требует 6 произведений вектора на число.

Итого: <math>2N(2N - 1) + 12N - 6 + 6N + 6N = 4N^2 + 22N - 6</math> операций за одну итерацию. Домножая это на количество итераций <math>I</math>, получаем итоговую сложность алгоритма: <math>I \cdot (4N^2 + 22N - 6)</math>

Имеются так же операции как, извлечение квадратного корня и деление вещественных чисел друг на друга, но они не принимаются в расчет, так как они не влияют на итоговый результат. Окончательно можно заключить, что последовательная сложность алгоритма эквивалента <math>O(I \cdot N^2)</math>

=== Информационный граф ===

[[file:BiCGStabIterations.jpg|thumb|center|800px|<center>Информационный граф.</center>]]
На графе представлены связи между операциями, выполняющимися в первых трех итерациях метода. При выполнении большего, чем 3, количества итераций, структура каждой новой будет повторять структуру третьей. Связи между итерациями не представлены, т.к. они не важны для понимания параллельной структуры алгоритма. Серым обозначено перемножение чисел, красным - умножение числа на вектор

=== Ресурс параллелизма алгоритма ===

Основной прирост производительности параллельной версии алгоритма дает использование параллельных операций вычисления скалярного произведения, суммы векторов, а так же произведения матрицы на вектор. Каждая из операций вычисления скалярного произведения и суммы векторов, выполняемая на <math>p</math> процессорах, за счет метода сдваивания может ускориться до <math> \frac{p}{\log_2 p} </math> раз. Ускорение же умножения матрицы на вектор может достигать <math>p</math> раз.

Ширина и высота ЯПФ графа данного алгоритма напрямую зависит от конкретных реализаций макроопераций и входных данных.

Для последовательно-параллельной реализации операции взятия скалярного произведения в наиболее оптимальном случае (<math>p= \sqrt N</math>) высота будет равна <math>2 \sqrt N - 1</math>, а ширина <math>\sqrt N</math>, где <math>N</math> - это длина вектора решения.

Высота ЯПФ простейшего алгоритма умножения матрицы на вектор равна <math>2N</math>, а ширина <math>m</math>, где <math>N</math> - это уже упомянутая длина вектора(она же ширина матрицы), а m - высота матрицы.

Высота ЯПФ операции умножения вектора на число равна <math>\frac{N}{p}</math>, а ширина <math>p</math>.

Высота ЯПФ операции вычисления разности векторов равна <math> \log_2 p </math>, а ширина <math>p</math>.

В конечном счете общую высоту ЯПФ одной итерации алгоритма можно оценить, как <math>6 \sqrt N-3 + 4N + 3 + 1 + 3\lceil \frac{N}{p} \rceil + 2 \lceil \frac{N}{p} \rceil = 4N + 6 \sqrt N + 5 \lceil \frac{N}{p} \rceil + 1</math>, а ширину, как <math>2 \sqrt N</math>, если не брать в рассчет проверку критерия сходимости и упрощенности первой итерации по сравнению с остальными.

=== Входные и выходные данные алгоритма ===

:Входные данные
#Матрица <math>A \in R^{N \times N}</math> ( <math>C^{N \times N}</math> )
#Вектор правой части <math>b \in R^N</math> ( <math>C^N</math> )

:Выходные данные:
#Вектор решения СЛАУ <math>x \in R^N</math> ( <math>C^N</math> )

=== Свойства алгоритма ===

BiCGStab хорошо зарекомендовал себя для решения систем линейных алгебраический уравнений, поскольку обладает некоторыми важными свойствами:
#Благодаря применению подхода Петрова-Галеркина и техники ортогонализации, он численно устойчив
#Не меняется вид матрицы в процессе решения
#Эффективен для решения систем большой размерности с разреженной матрицей, поскольку в методе самая трудоемкая операция - умножение матрицы на вектор
#Лучше подходит под распределенные системы, поскольку не содержит операции транспонирования матрицы
#Применим для решения систем с несимметричными матрицами
#Вычислительная мощность: <math>N/4</math>

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Статьи в работе]]

[[en:Biconjugate gradient stabilized method (BiCGStab)]]

Последовательно-параллельный метод суммирования

2025-02-20T10:13:29Z

ASA:

{{level-a}}

{{algorithm
| name = Последовательно-параллельный метод суммирования
| serial_complexity = <math>n-1</math>
| pf_height = <math>O(\sqrt{n})</math>
| pf_width = <math>O(\sqrt{n})</math>
| input_data = <math>n</math>
| output_data = <math>1</math>
}}

Основные авторы описания: [[Участник:Frolov|А.В.Фролов]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Последовательно-параллельный метод''' используется в качестве эрзаца блочной реализации вычисления длинных последовательностей ассоциативных операций (например, массового суммирования). Получил распространение благодаря следующим особенностям: а) реализует приём получения двойных циклов из одинарных; б) в последовательной архитектуре компьютеров позволял для ряда операций уменьшать влияние округления на результат. Здесь будем описывать его версию для суммирования чисел.

=== Математическое описание алгоритма ===

Исходные данные: одномерный массив <math>N</math> чисел.

Вычисляемые данные: сумма элементов массива.

Формулы метода: число <math>N</math> разлагается в выражение типа <math>N = (p - 1) k + q</math>, где <math>p</math> — количество процессоров, <math>k = \lceil \frac{N}{p} \rceil</math>, <math>q = N - k (p - 1)</math>.

После этого на <math>i</math>-м процессоре (<math>i < p</math>) последовательно вычисляется сумма элементов массива, начиная с <math>(i - 1) k + 1</math>-го, до <math>i k</math>-го.
:<math>S_i = \sum_{j = 1}^k x_{k (i - 1) + j}</math>

На <math>p</math>-м процессоре последовательно вычисляется сумма элементов массива, начиная с <math>(p - 1) k + 1</math>-го до <math>(p - 1) k + q</math>-го.
:<math>S_p = \sum_{j = 1}^q x_{k (p - 1) + j}</math>

По окончании этого процесса процессоры обмениваются данными и на одном из них (либо на всех одновременно, если результат нужен далее на всех процессорах) получившиеся суммы суммируются последовательно друг с другом.
:<math>\sum_{i = 1}^p S_i</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательно-параллельного метода суммирования можно составить из множественных (всего <math>p</math>) вычислений сумм элементов массива:
:<math>S_i = \sum_{j = 1}^k x_{k (i - 1) + j}</math>

и ещё одного вычисления суммы элементов частичных сумм
:<math>\sum_{i = 1}^p S_i</math>

=== Макроструктура алгоритма ===

Как уже записано в описании ядра алгоритма, основную часть метода составляют множественные (всего <math>p + 1</math>) вычисления сумм
:<math>S_i = \sum_{j = 1}^k x_{k (i - 1) + j}</math>
:<math>\sum_{i = 1}^p S_i</math>

=== Схема реализации последовательного алгоритма ===

Формулы метода описаны выше. Последовательность исполнения суммирования может быть разная — как по возрастанию, так и по убыванию индексов. Обычно без особых причин порядок не меняют, используя естественный (возрастание индексов).

=== Последовательная сложность алгоритма ===

Для вычисления суммы массива, состоящего из <math>N</math> элементов, при любых разложениях <math>N</math> суть алгоритма сводится к простому переставлению скобок в формуле суммирования, и количество операций неизменно и равно <math>N - 1</math>. Поэтому алгоритм должен быть отнесён к алгоритмам ''линейной'' сложности по количеству последовательных операций.

=== Информационный граф ===

На рис.1 изображён граф алгоритма. В данном случае выполнено суммирование 24 элементов массива.

[[file:series-parallel summation graph.png|center|thumb|600px|Рисунок 1. Последовательно-параллельный метод суммирования массива]]

<center>
{{#widget:Algoviewer
|url=seq_par/Algo_view_seq_par4.html
|width=1300
|height=800
|border=1
}}
 
Интерактивное изображение графа алгоритма без входных и выходных данных для случая суммирования 20 элементов массива
</center>

=== Описание ресурса параллелизма алгоритма ===

Для суммирования массива порядка <math>n</math> последовательно-параллельным методом в параллельном варианте требуется последовательно выполнить следующие ярусы:
* <math>k - 1</math> ярусов суммирования по частям массива (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь).

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math>2 \sqrt{n} - 2</math>.

При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам со сложностью ''корень квадратный''. При классификации по ширине ЯПФ его сложность будет такой же — ''корень квадратный''.

=== Входные и выходные данные алгоритма ===

Входные данные: массив <math>\vec{x}</math> (элементы <math>x_i</math>).

Дополнительные ограничения: отсутствуют.

Объём входных данных: <nowiki/><math>N</math>.

Выходные данные: сумма элементов массива.

Объём выходных данных: один скаляр.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''корнем квадратным'' (отношение линейной к корню квадратному). При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных — всего-навсего ''1 (входных и выходных данных столько же, сколько операций)''. При этом алгоритм не вполне полностью детерминирован, суммирование может быть проведено в разном порядке. Использование другого порядка выполнения ассоциативных операций может дать, с учётом особенностей входных данных, уменьшение влияния ошибок округления на результат. Дуги информационного графа локальны.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем (без перестановок суммирования) варианте на Фортране можно записать так:
<source lang="fortran">
DO I = 1, P
S (I) = X(K*(I-1)+1)
IF (I.LQ.P) THEN
DO J = 2,K
S(I)=S(I)+X(K*(I-1)+J)
END DO
ELSE
DO J = 2,Q
S(I)=S(I)+X(K*(I-1)+J)
END DO
END IF
END DO
SUM = S(1)
DO I = 2, P
SUM = SUM + S(I)
END DO
</source>

Можно записать и аналогичные схемы, где суммирование будет проводиться в обратном порядке. Подчеркнём, что граф алгоритма обеих схем — [[#Информационный граф|один и тот же]]!

=== Возможные способы и особенности параллельной реализации алгоритма ===

В чистом виде алгоритм последовательно-параллельного метода для суммирования массива встречается редко, в основном встречаются его модификации, например для случаев вычисления скалярного произведения (вместо элементов массива будут фигурировать произведения элементов двух массивов), равномерной нормы (вместо элементов массива — их модули) и т. п. В случае вычисления скалярного произведения в одном из частных случаев подобный приём применён в библиотеке BLAS (там одна из размерностей равна 5), но, видимо, не для распараллеливания, а для оптимизации работы с регистрами процессора. Между тем, разбиения массивов на группы для вычислений частных сумм могут быть полезны и для лучшего использования кэша на отдельных узлах.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Законченные статьи]]
[[Категория:Последовательно-параллельная группировка операций]]
[[Категория:Векторные операции]]

[[En:The serial-parallel summation method]]

Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант

2025-02-20T10:09:48Z

ASA:

{{level-a}}

{{algorithm
| name = Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант
| serial_complexity = <math>2n-1</math>
| pf_height = <math>O(\sqrt{n})</math>
| pf_width = <math>O(\sqrt{n})</math>
| input_data = <math>2n</math>
| output_data = <math>1</math>
}}

Основные авторы описания: [[Участник:Frolov|А.В.Фролов]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Скалярное произведение векторов''' используется в качестве одной из базовых операций в широком круге методов. При этом используется как в версии скалярного произведения собственно <math>n</math>-мерных векторов (одномерных массивов размера <math>n</math>), так и в версии скалярного произведения строк, столбцов и других линейных подмножеств массивов большей размерности. Последняя отличается от первой тем, что соответствующая подпрограмма получает, кроме стартовых адресов векторов, также и параметры смещения следующих элементов относительно предыдущих (в первой версии эти смещения равны 1). Разные формулы существуют для скалярных произведений в вещественной арифметике и для комплексных векторов. Здесь мы рассматриваем только вещественную арифметику и последовательно-параллельную реализацию.

=== Математическое описание алгоритма ===

Исходные данные: два одномерных массива n чисел.

Вычисляемые данные: сумма попарных произведений элементов массива.

Формулы метода:
число <math>n</math> разлагается в выражение типа
<math>n = (p - 1) k + q</math>,
где <math>p</math> — количество процессоров, <math>k = \lceil \frac{n}{p} \rceil</math>,
<math>q = n - k (p - 1)</math>.
После этого на <math>i</math>-м процессоре (<math>i < p</math>) последовательно вычисляется «частичное» скалярное произведение подмассивов, начиная с <math>(i - 1) k + 1</math>-го номера элемента, до <math>ik</math>-го номера.

:<math>S_i = \sum_{j = 1}^k a_{k (i - 1) + j} b_{k (i - 1) + j}</math>

На <math>p</math>-м процессоре последовательно вычисляется «частичное» скалярное произведение подмассивов, начиная с <math>(p - 1) k + 1</math>-го номера элемента до <math>(p - 1) k + q</math>-го номера.

:<math>S_p = \sum_{j = 1}^q a_{k (p - 1) + j} b_{k (p - 1) + j}</math>

По окончании этого процесса процессоры обмениваются данными и на одном из них (либо на всех одновременно, если результат нужен далее на всех процессорах) получившиеся суммы суммируются последовательно друг с другом.

:<math>\sum_{i = 1}^p S_i</math>

При этом в последовательно-параллельном варианте при вычислений сумм из формул используется последовательный порядок суммирования (обычно от меньших индексов к большим).

=== Вычислительное ядро алгоритма ===

Вычислительное ядро скалярного произведения в последовательно-параллельном варианте можно представить как <math>p</math> вычислений «частных» скалярных произведений c последующим последовательным суммированием получившихся <math>p</math> чисел.

=== Макроструктура алгоритма ===

Как уже записано в описании ядра алгоритма, основную часть вычисления скалярного произведения составляют параллельное вычисление скалярных произведений меньшей размерности последовательным методом и последовательное вычисление суммы получившихся «частных» скалярных произведений подмассивов.

=== Схема реализации последовательного алгоритма ===

Формулы метода описаны выше. Последовательность исполнения суммирования может быть разная — как по возрастанию, так и по убыванию индексов. Обычно без особых причин порядок не меняют, используя естественный (возрастание индексов).

=== Последовательная сложность алгоритма ===

Для вычисления скалярного произведения массивов, состоящих из <math>n</math> элементов, при любых разложениях количество операций умножения неизменно и равно <math>n</math>, а количество операций сложения равно <math>n - 1</math>. Поэтому алгоритм должен быть отнесён к алгоритмам ''линейной'' сложности по количеству последовательных операций.

=== Информационный граф ===

На рис.1 изображён граф аогоритма. Однако следует отметить, что в большинстве случаев программисты не экономят на одном вызове операции сложения, а инициализируют начальное значение переменной нулём. В этом случае граф становится таким, как на рис.2 (n=24).

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: 2 * (700 + 35) + 3 * (3 - 1) + 8}}px">
<gallery widths=700px heights=900px>
File:series-parallel dot product graph.png|Рисунок 1. Последовательно-параллельное вычисление скалярного произведения с экономией операций сложения
File:Series-parallel dot product graph straight.png|Рисунок 2. Последовательно-параллельное вычисление скалярного произведения без экономии операций сложения
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

=== Ресурс параллелизма алгоритма ===

Для вычисления скалярного произведения массивов порядка <math>n</math> последовательно-параллельным методом в параллельном варианте требуется последовательно выполнить следующие ярусы:
* 1 ярус вычисления произведений,
* <math>k - 1</math> ярусов суммирования по частям массивов (<math>p</math> ветвей),
* <math>p - 1</math> ярусов суммирования (одна последовательная ветвь).

Таким образом, в параллельном варианте критический путь алгоритма (и соответствующая ему высота ЯПФ) будет зависеть от произведённого разбиения массива на части. В оптимальном случае (<math>p = \sqrt{n}</math>) высота ЯПФ будет равна <math> 2 \sqrt{n} - 1</math>. При классификации по высоте ЯПФ, таким образом, последовательно-параллельный метод относится к алгоритмам ''со сложностью «корень квадратный»''. При классификации по ширине ЯПФ его сложность также будет ''«корень квадратный»''.

=== Входные и выходные данные алгоритма ===

Входные данные: массивы <math>a</math> (элементы <math>a_i</math>), <math>b</math> (элементы <math>b_i</math>).

Дополнительные ограничения: отсутствуют.

Объём входных данных: <nowiki/><math>2 n</math>.

Выходные данные: сумма попарных произведений элементов массивов.

Объём выходных данных: один скаляр.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''корнем квадратным'' (отношение линейной к корню квадратному). При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных — всего-навсего ''1 (входных и выходных данных почти столько же, сколько операций; если точнее - даже больше на 2)''. При этом алгоритм полностью детерминирован при заданном разложении <math>n</math>. Дуги информационного графа локальны. Для уменьшения ошибок округления режимом накопления в ряде алгоритмов, использующих скалярное произведение одинарной точности, оно вычисляется с двойной точностью. Впрочем, у последовательно-параллельного способа вычисления скалярного произведения и без режима накопления влияние ошибок округления «в среднем» меньше в <math>\sqrt{n}</math> раз.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем (без перестановок суммирования) варианте на Фортране можно записать так:

<source lang="fortran">
DO I = 1, P
S (I) = A(K*(I-1)+1)*B(K*(I-1)+1)
IF (I.LQ.P) THEN
DO J = 2,K
S(I)=S(I)+A(K*(I-1)+J)*B(K*(I-1)+J)
END DO
ELSE
DO J = 2,Q
S(I)=S(I)+A(K*(I-1)+J)*B(K*(I-1)+J)
END DO
END IF
END DO
SCP = S(1)
DO I = 2, P
SCP = SCP + S(I)
END DO
</source>

Можно записать и аналогичные схемы, где суммирование будет проводиться в обратном порядке. Подчеркнём, что граф алгоритма обеих схем — [[#Информационный граф|один и тот же]]! Тело первого цикла целиком может быть заменено вызовом функции скалярного произведения, если она реализована в последовательном варианте.

=== Возможные способы и особенности параллельной реализации алгоритма ===

Помимо [[#Особенности реализации последовательного алгоритма|выписанной выше простейшей реализации]], существуют более сложные коды, реализующие тот же алгоритм. Следует обратить внимание на то, что ряд реализаций (в том же BLAS) использует разложение <math>n</math> на небольшое и большое числа. При этом внутренние циклы не используются, поскольку суммирование небольшого числа произведений проводится «вручную›, увеличением тела первого цикла. Часть реализаций последовательно-параллельного метода вычисления скалярного произведения не оформлена в виде отдельных подпрограмм, а раскидана по тексту программы алгоритма, использующего скалярное произведение, но фактически представляет именно такую реализацию. Примером этого могут быть блочные реализации различных разложений (Холецкого, Гаусса и др.).

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Статьи в работе]]
[[Категория:Последовательно-параллельная группировка операций]]
[[Категория:Векторные операции]]

[[En:Dot product]]

Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант

2025-02-20T09:56:06Z

ASA:

{{level-a}}

{{algorithm
| name = Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант
| serial_complexity = <math>2n-1</math>
| pf_height = <math>O(\sqrt{n})</math>
| pf_width = <math>O(n)</math>
| input_data = <math>n</math>
| output_data = <math>1</math>
}}

Основные авторы описания: [[Участник:Frolov|А.В.Фролов]].
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Равномерная норма вектора''' используется в качестве одной из базовых операций в широком круге методов — как для вычисления получаемой ошибки финальных результатов, так и для промежуточных вычислений.

=== Математическое описание алгоритма ===

Исходные данные: одномерный массив <math>n</math> чисел.

Вычисляемые данные: максимум абсолютной величины элементов массива.

Формулы метода: для вектора <math>\vec{a}</math> из <math>n</math> элементов вычисляется выражение <math>\max\limits_i |a_i|</math>.

При этом в последовательно-параллельном варианте используется последовательный порядок сравнения элементов (обычно от меньших индексов к большим) по частям массива, после чего последовательным методом выбирается максимум из полученных максимумов этих частей.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро вычисления равномерной нормы в последовательно-параллельном варианте можно представить в виде параллельного набора вычислений равномерных норм в последовательном варианте и одного финального вычисления равномерной нормы в последовательном варианте.

=== Макроструктура алгоритма ===

Как уже записано в описании ядра алгоритма, основную часть вычисления равномерной нормы в последовательном варианте составляет выполнение последовательного выбора максимума из модулей частей массива, и затем выполнение последовательного выбора максимума из уже вычисленных максимумов.

=== Схема реализации последовательного алгоритма ===

Формулы метода описаны выше. Последовательность исполнения может быть разная - как по возрастанию, так и по убыванию индексов в соответствующих частях массива. Обычно без особых причин порядок не меняют, используя естественный (возрастание индексов).

=== Последовательная сложность алгоритма ===

Для вычисления равномерной нормы массива, состоящего из <math>N</math> элементов, количество операций вычисления модуля неизменно и равно <math>N</math>, а количество операций вычисления максимума равно <math>N-1</math>. Поэтому алгоритм должен быть отнесён к алгоритмам ''линейной сложности'' по количеству последовательных операций.

=== Информационный граф ===

На рис.1 изображён граф алгоритма граф для случая <math>n = 24</math>. Однако следует отметить, что в большинстве случаев программисты не экономят на одном вызове функции максимума, а инициализируют начальное значение переменной нулём. В этом случае граф становится таким, как на рис.2 (<math>n = 24</math>).

<center>
<div class="thumb">
<div class="thumbinner" style="width:{{#expr: 2 * (700 + 35) + 3 * (3 - 1) + 8}}px">
<gallery widths=700px heights=900px>
File:series-parallel uniform norm graph without dummy max op.png|Рисунок 1. Вычисление равномерной нормы с экономией вызовов функции максимума
file:series-parallel uniform norm graph with dummy max op.png|Рисунок 2. Вычисление равномерной нормы без экономии вызовов функции максимума]
</gallery>
<div class="thumbcaption" style="text-align:center">
</div>
</div>
</div>
</center>

=== Ресурс параллелизма алгоритма ===

Последовательно-параллельный вариант вычисления равномерной нормы массива (в более экономном варианте) можно представить составленным из трёх частей. В первой из них выполняется <math>N</math> вычислений абсолютной величины в одном параллельном ярусе. Во второй части параллельно выполняется <math>p</math> ветвей <math>N / p - 1</math> длиной, выбирающих максимальные из частей массива. И, наконец, в третьей части последовательно, длиной <math>p - 1</math>, выбирается максимум из максимумов. Таким образом, в получившемся алгоритме высота параллельной формы будет равна 1 операции вычисления функции ABS плюс <math>N / p + p - 2</math> операций выбора максимума. Минимум будет достигнут при <math>p = \sqrt{N}</math> и будет равен <math>2 \sqrt{N} - 2</math> максимумов плюс одно вычисление абсолютной величины. В таком виде алгоритм должен быть отнесён к алгоритмам ''сложности порядка «корня квадратного»'' по высоте. По ширине параллельной формы он за счёт отбрасывания знаков будет линеен, но можно, увеличив вдвое высоту, тоже сделать его ''сложности порядка «корня квадратного»''.

=== Входные и выходные данные алгоритма ===

Входные данные: массив <math>a</math> (элементы <math>a_i</math>).

Дополнительные ограничения: отсутствуют.

Объём входных данных: <nowiki/><math>n</math>.

Выходные данные: максимум модулей элементов массива.

Объём выходных данных: один скаляр.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''корнем квадратным из размера''. При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных — всего-навсего ''1 (входных и выходных данных почти столько же, сколько операций; если точнее — даже больше на 2)''. При этом алгоритм полностью детерминирован. Дуги информационного графа локальны. Важной особенностью алгоритма является то, что его видоизменение и переход к другому графу (например, способу разбиения <math>N</math> на множители) никак не повлияет на ошибки округления результата, поскольку функция максимума, в отличие от базовой арифметики (сложения и умножения) остаётся ассоциативной и в условиях действия машинного округления.

=== Входные и выходные данные алгоритма ===

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем (входные данные — вектор, <math>p = \sqrt{N}</math>) варианте на Фортране можно записать так:

<source lang="fortran">
NORMX = ABS(A(1))
DO J = 2, P
NORMX = MAX( NORMX, ABS(A(J)))
END DO
DO I = 1, P-1
NORMY = ABS (A(P*I+1))
DO J = 2,P
NORMY = MAX (NORMY, ABS (A(P*I+J)))
END DO
NORMX = MAX (NORMX, NORMY)
END DO
</source>

В варианте с «холостым» выбором максимума запись такая:

<source lang="fortran">
NORMX = 0.
DO J = 1, P
NORMX = MAX( NORMX, ABS(A(J)))
END DO
DO I = 1, P-1
NORMY = 0.
DO J = 1,P
NORMY = MAX (NORMY, ABS (A(P*I+J)))
END DO
NORMX = MAX (NORMX, NORMY)
END DO
</source>

=== Возможные способы и особенности параллельной реализации алгоритма ===

Помимо [[#Особенности реализации последовательного алгоритма|выписанных выше простейших реализаций]], существуют более сложные коды, реализующие тот же алгоритм. В основном он применяется для вычисления равномерных норм полей вычисляемых данных, которые изначально двумерны, трёхмерны и т. п. Для вычисления норм одномерных векторов в стандартных библиотеках применяется более простой последовательный метод.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Статьи в работе]]
[[Категория:Векторные операции]]

[[en:Uniform norm of a vector: Real version, serial-parallel variant]]

Нахождение частных сумм элементов массива сдваиванием

2025-02-20T08:40:26Z

ASA:

{{level-a}}

{{algorithm
| name = Нахождение частных сумм элементов массива сдваиванием
| serial_complexity = <math>\frac{n}{2} log_2 n</math>
| pf_height = <math>\lceil \log_2 n \rceil</math>
| pf_width = <math>\frac{n}{2}</math>
| input_data = <math>n</math>
| output_data = <math>n</math>
}}

Основные авторы описания: [[Участник:Frolov|А.В.Фролов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Метод сдваивания'''<ref>Фролов А.В. Использование последовательно-параллельного метода для распараллеливания алгоритмов с ассоциативными операциями // Принята в качестве доклада на первую объединенную международную конференцию "Суперкомпьютерные дни в России", Москва, 28-29 сентября 2015 г.</ref> используется в качестве быстрого варианта вычисления длинных последовательностей ассоциативных операций (например, массового получения частичных сумм). Получил распространение благодаря наименьшей из возможных высоте алгоритма. Данный алгоритм (нахождение частных сумм элементов массива сдваиванием) является только наиболее простой моделью для показа свойств алгоритма сдваивания.

=== Математическое описание алгоритма ===

Исходные данные: одномерный массив <math>n</math> чисел.

Вычисляемые данные: частичные суммы первых <math>i</math> элементов массива, где <math>i</math> принимает все значения от <math>1</math> до <math>n</math>.

Формулы метода: элементы на первом этапе алгоритма разбиваются на пары. В каждой из пар находится сумма составляющих её соседних элементов.
На следующем этапе на пары разбиваются уже эти суммы (и те элементы, которые не вошли в уже вычисленные суммы), и т. д.
По нахождению тех частных сумм, где <math>i</math> является степенью двойки, формулы повторяют [[Нахождение суммы элементов массива сдваиванием|алгоритм нахождения суммы элементов массива сдваиванием]].
Однако, кроме этого, для каждой пары (например, для нахождения суммы <math>x_i+...+x_{i+k}</math> и <math>x_{i+k+1} +...+ x_{i+2k}</math>)дополнительно вычисляются все частные суммы от <math>x_i+...+x_{i+k+1}</math> до <math>x_i+...+x_{i+2k-1}</math>.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро метода сдваивания суммирования можно составить из элементарных бинарных (всего <math>\frac{n}{2} log_2 n</math>) вычислений сумм.

=== Макроструктура алгоритма ===

Как уже записано в описании ядра алгоритма, основную часть метода составляют элементарные бинарные (всего <math>\frac{n}{2} log_2 n</math>) вычисления сумм.

=== Схема реализации последовательного алгоритма ===

В описанном виде суммирование сдваиванием не используют при последовательной реализации, поскольку кроме усложнения общей схемы алгоритма и резкого роста потребности в памяти, нужной для хранения промежуточных данных, сам по себе алгоритм содержит подавляющее большинство [[%D0%93%D0%BB%D0%BE%D1%81%D1%81%D0%B0%D1%80%D0%B8%D0%B9#.D0.98.D0.B7.D0.B1.D1.8B.D1.82.D0.BE.D1.87.D0.BD.D1.8B.D0.B5_.D0.B2.D1.8B.D1.87.D0.B8.D1.81.D0.BB.D0.B5.D0.BD.D0.B8.D1.8F|избыточных вычислений]]: по сравнению с последовательным алгоритмом нахождения частных сумм количество операций больше в <math>\frac{1}{2} log_2 n</math> раз.

=== Последовательная сложность алгоритма ===

Для вычисления суммы массива, состоящего из <math>n</math> элементов, количество операций равно <math>\frac{n}{2} log_2 n</math>. Поэтому алгоритм должен быть отнесён к алгоритмам ''линейно-логарифмической сложности'' по количеству последовательных операций.

=== Информационный граф ===
[[File:DoublingPartUniv.png|thumb|center|600px|Рисунок 1. Граф алгоритма при n=8 c отображением входных данных. Синим обозначены входные, красным - выходные данные. Все вершины соответствуют операции сложения]]

Граф алгоритма изображён на рисунке.

=== Ресурс параллелизма алгоритма ===

Для вычисления частичных сумм массива порядка <math>n</math> методом сдваивания в параллельном варианте требуется последовательно выполнить <math>\lceil \log_2 n \rceil</math> ярусов с одинаковым (<math>\frac{n}{2}</math>) количеством операций суммирования.
При классификации по высоте ЯПФ, таким образом, метод сдваивания относится к алгоритмам с ''логарифмической сложностью''. При классификации по ширине ЯПФ его сложность будет ''линейной''.

=== Входные и выходные данные алгоритма ===

Входные данные: массив <math>x</math> (элементы <math>x_i</math>).

Дополнительные ограничения: отсутствуют.

Объём входных данных: <nowiki/><math>n</math>.

Выходные данные: все частичные суммы первых <math>i</math> элементов массива, где <math>i</math> принимает все значения от <math>1</math> до <math>n</math>.

Объём выходных данных: <math>n</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является <math>\frac{n}{2}</math> (отношение линейно-логарифмической к логарифмической). При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных — логарифмическая <math>\frac{1}{2} log_2 n</math>. Это, однако, обусловлено избыточностью вычислений, реальная мощность - константа (1). При этом алгоритм полностью детерминирован. Дуги информационного графа нелокальны, от яруса к ярусу наблюдается показательный рост их длины, при любом размещении вершин графа (кроме дополнительных измерений в случае расположения вершин в гиперкубе).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

Сдваивание, из-за сильной избыточности вычислений, вряд ли может быть применено на компьютерах без параллельных устройств.

=== Возможные способы и особенности параллельной реализации алгоритма ===

Ввиду малораспространённости задачи нахождения частных сумм в библиотеках программ данный алгоритм обычно не содержится.

Как видно по графу алгоритма, ряд дуг длинны как по времени (по различию номеров ярусов операций, являющихся началом и концом дуги), так и по пространству (исключением является только размещение в гиперкубе, физически невозможное). Эта неустранимая нелокальность должна тормозить исполнение всех аналогичных алгоритмов.

При оценке масштабируемости этого алгоритма, как и всех алгоритмов с избыточными вычислениями, следует учитывать, что сравнение по быстродействию и эффективности нужно проводить не с однопроцессорным вариантом исполнения самого алгоритма, а с алгоритмом последовательного сложения чисел.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

Из-за своеобразия графа сдваивания лучше всего он отображается на архитектуру типа "гиперкуб". Поэтому для архитектур с массовым параллелизмом представляется неизбежным рост накладных расходов и слабая масштабируемость алгоритма.

== Литература ==

<references />

[[Категория:Законченные_статьи]]
[[Категория:Метод сдваивания]]
[[Категория:Алгоритмы с избыточными вычислениями]]
[[Категория:Векторные операции]]

[[en:Parallel prefix scan algorithm using pairwise summation]]

Нахождение суммы элементов массива сдваиванием

2025-02-19T13:26:24Z

ASA:

{{level-a}}

{{algorithm
| name = Нахождение суммы элементов массива сдваиванием
| serial_complexity = <math>n-1</math>
| pf_height = <math>log2n</math>
| pf_width = <math>n/2</math>
| input_data = <math>n</math>
| output_data = <math>1</math>
}}

Основные авторы описания: [[Участник:Frolov|А.В.Фролов]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Метод сдваивания''' используется в качестве быстрого варианта вычисления длинных последовательностей ассоциативных операций (например, массового суммирования). Получил распространение благодаря как наименьшей из возможных высоте алгортима, так и из-за ряда своих вычислительных характеристик, а также (в среде нечисленных алгоритмов) из-за своей рекурсивности, то есть лёгкости записи.

=== Математическое описание алгоритма ===

Исходные данные: одномерный массив <math>n</math> чисел.

Вычисляемые данные: сумма элементов массива.

Формулы метода: элементы на каждом этапе алгоритма разбиваются на пары. В каждой из пар находится сумма составляющих её элементов. На следующем этапе на пары разбиваются уже эти суммы (и те элементы, которые не вошли в уже вычисленные суммы), и т. д.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро метода сдваивания для суммирования можно составить как из элементарных бинарных (всего <math>n - 1</math>) вычислений сумм, так и (рекуррентно) из набора реализаций метода сдваивания меньших размерностей.

=== Макроструктура алгоритма ===

Как уже записано в описании ядра алгоритма, основную часть метода составляют рекурсивные вызовы сумм массивов меньшей размерности.

=== Схема реализации последовательного алгоритма ===

В своём чистом виде суммирование сдваиванием редко используют при последовательной реализации, поскольку при этом усложняется общая схема алгоритма и резко растёт потребность в памяти, нужной для хранения промежуточных данных.

=== Последовательная сложность алгоритма ===

Для вычисления суммы массива, состоящего из <math>n/math> элементов, при любых разложениях <math>n</math> на пары суть алгоритма сводится к простому переставлению скобок в формуле суммирования, и количество операций неизменно и равно <math>n - 1</math>. Поэтому алгоритм должен быть отнесён к алгоритмам ''линейной сложности'' по количеству последовательных операций.

=== Информационный граф ===

На рис.1 изображён граф алгоритма. В данном случае выполнено суммирование 16 элементов массива.
Вершины, соответствующие входным данным, даны синим цветом, выходным данным - красным цветом.

[[file:binary-tree-based summation graph.png|center|thumb|500px|Рисунок 1. Суммирование массива методом сдваивания]]

=== Ресурс параллелизма алгоритма ===

Для суммирования массива порядка <math>n</math> методом сдваивания в параллельном варианте требуется последовательно выполнить <math>\lceil \log_2 n \rceil</math> ярусов с убывающим (от <math>\frac{n}{2}</math> до <math>1</math>) количеством операций суммирования.
При классификации по высоте ЯПФ, таким образом, метод сдваивания относится к алгоритмам с ''логарифмической сложностью''. При классификации по ширине ЯПФ его сложность будет ''линейной''.

=== Входные и выходные данные алгоритма ===

Входные данные: массив <math>x</math> (элементы <math>x_i</math>).

Дополнительные ограничения: отсутствуют.

Объём входных данных: <nowiki/><math>n</math>.

Выходные данные: сумма элементов массива.

Объём выходных данных: один скаляр.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является <math>\frac{n}{\log_2 n}</math> (отношение линейной к логарифмической). При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных — всего-навсего ''1 (входных и выходных данных столько же, сколько операций)''. При этом алгоритм полностью детерминирован. Дуги информационного графа нелокальны, от яруса к ярусу наблюдается показательный рост их длины, при любом размещении вершин графа.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Статьи в работе]]
[[Категория:Метод сдваивания]]
[[Категория:Векторные операции]]

[[En:Pairwise summation of numbers]]

Перемножение плотных неособенных матриц (последовательный вещественный вариант)

2025-02-19T13:21:28Z

ASA:

{{level-a}}

{{algorithm
| name = Перемножение плотных неособенных матриц
| serial_complexity = <math>2mnl</math>
| pf_height = <math>n</math>
| pf_width = <math>2ml</math>
| input_data = <math>mn+nl</math>
| output_data = <math>ml</math>
}}

Основные авторы описания: [[Участник:Frolov|А.В.Фролов]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Перемножение матриц''' - одна из базовых задач в алгоритмах линейной алгебры, широко применяется в большом количестве разных методов.
Здесь мы рассмотрим умножение <math>C = AB</math>  плотных неособенных матриц (последовательный вещественный вариант), то есть тот вариант, где никак не используются ни специальный вид матрицы, ни ассоциативные свойства операции сложения<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>.

=== Математическое описание алгоритма ===

Исходные данные: плотная матрица <math>A</math> (элементы <math>a_{ij}</math>), плотная матрица <math>B</math> (элементы <math>b_{ij}</math>).

Вычисляемые данные: плотная матрица <math>C</math> (элементы <math>c_{ij}</math>).

Формулы метода:
:<math>
\begin{align}
c_{ij} = \sum_{k = 1}^{n} a_{ik} b_{kj}, \quad i \in [1, m], \quad j \in [1, l].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро перемножения плотных неособенных матриц можно составить из множественных (всего их <math>l</math>) вычислений умножения матрицы <math>A</math> на столбцы матрицы <math>B</math>, или (при более детальном рассмотрении), из множественных (всего их <math>ml</math>) скалярных произведений строк матрицы <math>A</math> на столбцы матрицы <math>B</math>:

:<math>\sum_{k = 1}^{n} a_{ik} b_{kj}</math>

в режиме накопления или без него, в зависимости от требований задачи.

=== Макроструктура алгоритма ===

Как уже записано в [[#Вычислительное ядро алгоритма|описании ядра алгоритма]], основную часть умножения матриц составляют множественные (всего <math>ml</math>) вычисления скалярных произведений строк матрицы <math>A</math> на столбцы матрицы <math>B</math>

:<math>\sum_{k = 1}^{n} a_{ik} b_{kj}</math>

в режиме накопления или без него.

=== Схема реализации последовательного алгоритма ===

Для всех <math>i</math> от <math>1</math> до <math>m</math> и для всех <math>j</math> от <math>1</math> до <math>l</math> выполняются

:<math>c_{ij} = \sum_{k = 1}^{n} a_{ik} b_{kj}</math>

Особо отметим, что вычисления сумм вида <math>\sum_{k = 1}^{n} a_{ik} b_{kj}</math> производят в режиме накопления прибавлением к текущему (временному) значению вычисляемого элемента матрицы <math>c_{ij}</math> произведений <math>a_{ik} b_{kj}</math> для <math>k</math> от <math>1</math> до <math>n</math>, '''c возрастанием''' <math>k</math>, вначале все элементы инициализируются нулями. При суммировании "по убыванию" общая схема принципиально не отличается и потому нами не рассматривается. Другие порядки выполнения суммирования приводят к изменению параллельных свойств алгоритма и будут рассматриваться нами в отдельных описаниях.

=== Последовательная сложность алгоритма ===

Для умножения двух квадратных матриц порядка <math>n</math> (т.е. при <math>m=n=l</math>) в последовательном (наиболее быстром) варианте требуется:

* по <math>n^3</math> умножений и сложений.

Для умножения матрицы размером <math>m</math> строк на <math>n</math> столбцов на матрицу размером <math>m</math> строк на <math>n</math> столбцов в последовательном (наиболее быстром) варианте требуется:

* по <math>mnl</math> умножений и сложений.

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности (или использования функции вроде DPROD в Фортране), что ещё больше увеличивает затраты во времени, требуемом для выполнения умножения матриц.

При классификации по последовательной сложности, таким образом, алгоритм умножения матриц относится к алгоритмам ''с кубической сложностью'' (в случае неквадратных матриц - с ''трилинейной'').

=== Информационный граф ===

Опишем [[глоссарий#Граф алгоритма|граф алгоритма]] как аналитически, так и в виде рисунка.

Граф алгоритма умножения плотных матриц состоит из одной группы вершин, расположенной в целочисленных узлах трёхмерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>m</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>l</math>, принимая все целочисленные значения;
* <math>k</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>k = 1</math> константа <math>0</math>;
** при <math>k > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j, k-1</math>;
*<math>b</math> — элемент ''входных данных'', а именно <math>a_{ik}</math>;
*<math>c</math> - элемент ''входных данных'' <math>b_{kj}</math>;

Результат срабатывания операции является:
* при <math>k < n</math> - ''промежуточным данным'' алгоритма;
* при <math>k = n</math> - выходным данным <math>c_{ij}</math>.

[[file:Dense mtrx product.png|thumb|center|800px|Рисунок 1. Умножение плотных матриц с отображением выходных данных]]
 

<center>
Интерактивное изображение графа алгоритма без входных и выходных данных для случая перемножения двух квадратных матриц порядка 3 и 4
</center>

{{#widget:Algoviewer
|url=mat_mul/mat_mul_3/Algo_view_matrix3.html
|width=600
|height=400
|border=1
}}

{{#widget:Algoviewer
|url=mat_mul/mat_mul_4/Algo_view_matrix4.html
|width=600
|height=400
|border=1
}}

=== Ресурс параллелизма алгоритма ===

Для алгоритма умножения квадратных матриц порядка n в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n^2</math> операций).

Для умножения матрицы размером <math>m</math> строк на <math>n</math> столбцов на матрицу размером <math>n</math> строк на <math>l</math> столбцов в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>ml</math> операций).

При этом использование режима накопления требует совершения умножений и вычитаний в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матриц относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''квадратичной'' (для квадратных матриц) или ''билинейной'' (для матриц общего вида).

=== Входные и выходные данные алгоритма ===

'''Входные данные''': матрица <math>A</math> (элементы <math>a_{ij}</math>), матрица <math>B</math> (элементы <math>b_{ij}</math>)).

'''Объём входных данных''': <math>mn+nl</math>

'''Выходные данные''': матрица <math>C</math> (элементы <math>c_{ij}</math>).

'''Объём выходных данных''': <math>ml</math>

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''квадратичным'' или ''билинейным'' (отношение кубической или трилинейной к линейной).

При этом вычислительная мощность алгоритма умножения матриц, как отношение числа операций к суммарному объему входных и выходных данных – ''линейно''.

При этом алгоритм умножения матриц полностью детерминирован. Использование другого порядка выполнения ассоциативных операций в данной версии нами не рассматривается.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте алгоритм умножения матриц на Фортране можно записать так:

<source lang="fortran">

DO I = 1, M
DO J = 1, L
S = 0.
DO K = 1, N
S = S + DPROD(A(I,K), B(K,J))
END DO
C(I, J) = S
END DO
END DO
</source>
При этом для реализации режима накопления переменная <math>S</math> должна быть двойной точности.

=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Законченные статьи]]
[[Категория:Матричные операции]]

[[En:Dense matrix multiplication (serial version for real matrices)]]

Схема Горнера, вещественная версия, последовательный вариант

2025-02-19T13:14:05Z

ASA:

{{level-a}}

{{algorithm
| name = Схема Горнера для деления многочлена n-й степени на приведённый двучлен
| serial_complexity = <math>2n</math>
| pf_height = <math>11n-16</math>
| pf_width = <math>O(n^2)</math>
| input_data = <math>n^2</math>
| output_data = <math>n^2</math>
}}
Основные авторы описания: [[Участник:Frolov|А.В.Фролов]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Решаемая задача ====

Схема Горнера<ref>Н.Я. Виленкин, Р.С. Гутер, С.И. Шварцбурд, Б.В. Овчинский, В.Г. Ашкинузе. Алгебра. Учебное пособие для 9-10 классов средних школ с математической специализацией. М.: Просвещение, 1972</ref> решает задачу деления многочлена <math>P_n(x)</math> с известными коэффициентами на двучлен <math>x - \alpha</math>. В качестве результатов выступают коэффициенты многочлена <math>Q_{n - 1}(x)</math> из соотношения

:<math>P_n(x) - P_n(\alpha) = (x - \alpha) Q_{n - 1}(x)</math>,

а также <math>P_n(\alpha)</math> (значение многочлена <math>P_n(x)</math> в точке <math>\alpha</math>)

К сожалению, зачастую в учебной литературе схему Горнера сводят к вычислению значения многочлена <math>P_n(x)</math> в точке <math>\alpha</math>.

==== Общая схема ====

Фактически схема Горнера реализует «деление уголком» многочлена на двучлен <math>x - \alpha</math>, с нахождением остатка, который, по теореме Безу, равен значению многочлена <math>P_n(x)</math> в точке <math>\alpha</math>.

=== Математическое описание алгоритма ===

Исходные данные: одномерный массив <math>n + 1</math> чисел <math>a_k</math> и скаляр <math>\alpha</math>.

Вычисляемые данные: одномерный массив <math>n + 1</math> чисел <math>b_k</math>.

Формулы метода с выводом: из соотношения

:<math>P_n(x) - P_n(\alpha) = (x - \alpha) Q_{n - 1}(x)</math>

если записать оба многочлена в каноническом виде

:<math>
\begin{align}
P_n(x) & = a_0 x^n+ a_1 x^{n - 1} + \dots + a_{n - 1} x + a_n, \\
Q_{n - 1}(x) & = b_0 x^{n - 1} + b_1 x^{n - 2} + \dots + b_{n - 2} x + b_{n - 1}
\end{align}
</math>

и приписать «свободному» <math>b_n</math> значение <math>P_n(\alpha)</math>, то, при подстановке многочленов в каноническом виде в исходное соотношение и приравнивании коэффициентов равных степеней, в качестве решения получается

:<math>
\begin{align}
b_0 & = a_0, \\
b_k & = a_k + \alpha b_{k - 1}, \quad k = 1, \dots, n
\end{align}
</math>

что и является '''формулами схемы Горнера'''.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро схемы Горнера в последовательном варианте можно представить в качестве последовательного набора <math>n</math> «двойных» операций (умножение элементов получаемого массива на один и тот же скаляр и добавление результата к следующему элементу входного массива).

=== Макроструктура алгоритма ===

Как уже записано в описании ядра алгоритма, основную часть вычисления схемы Горнера произведения составляет массовый последовательный набор «двойных› операций (умножение элементов получаемого массива на один и тот же скаляр и добавление результата к следующему элементу входного массива).

=== Схема реализации последовательного алгоритма ===

Формулы метода описаны выше. Последовательность исполнения — по возрастанию индекса ''k''.

=== Последовательная сложность алгоритма ===

Для вычисления схемы Горнера для многочлена степени <math>n</math>, количество операций умножения равно количеству операций сложения и равно <math>n</math>. Поэтому алгоритм должен быть отнесён к алгоритмам ''линейной'' сложности по количеству последовательных операций.

=== Информационный граф ===

На рис.1 изображён граф алгоритма для <math>n = 9</math>. Как видно, граф чисто последовательный. Ввод и вывод обозначен только для начального коэффициента и значения многочлена. Op - операция "умножить входное данное на скаляр и прибавить к другому данному".

[[file:Basic sequental algorithm graph.png|center|thumb|800px|Рисунок 1. Схема Горнера: последовательная версия]]

=== Ресурс параллелизма алгоритма ===

Последовательный вариант вычисления схемы Горнера не имеет ресурсов параллелизма. Его ярусно-параллельная форма (ЯПФ) — единственна и совпадает с последовательным алгоритмом. Таким образом, в получившемся алгоритме высота параллельной формы будет равна <math>n</math> операций умножения плюс <math>n</math> операций сложения. В таком виде алгоритм должен быть отнесён к алгоритмам ''линейной'' сложности по высоте параллельной формы. Ширина параллельной формы равна <math>1</math>, что даёт нам ''постоянную'' сложность по ширине параллельной формы.

=== Входные и выходные данные алгоритма ===

Входные данные: массив <math>a</math> (элементы <math>a_i</math> с номерами от <math>0</math> до <math>n</math>), скаляр <math>\alpha</math>.

Дополнительные ограничения: отсутствуют.

Объём входных данных: <nowiki/><math>n + 2</math>.

Выходные данные: массив <math>b</math> (элементы <math>b_k</math> с номерами от <math>0</math> до <math>n</math>).

Объём выходных данных: <nowiki/><math>n + 1</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''константой'' (1). При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных — всего-навсего ''1 (входных и выходных данных даже на 1 больше, чем количество операций)''. При этом алгоритм полностью детерминирован. Дуги информационного графа локальны. По устойчивости схема Горнера оптимальна для вычисления значения многочлена с известными коэффициентами.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

На Фортране схему Горнера можно записать так:
<source lang="fortran">
b(0) = a(0)
DO I = 1, N
b(I) = a(I)+b(I-1)*alpha
END DO
</source>

=== Возможные способы и особенности параллельной реализации алгоритма ===

Описываемый алгоритм не предполагает параллельной реализации.

Помимо [[#Особенности реализации последовательного алгоритма|выписанной выше простейшей реализации]], существуют более примитивные коды, реализующие часть функционала схемы Горнера. Это объясняется тем, что для многих нужно только значение многочлена (остаток от деления), но не нужен многочлен-частное. В таком случае вместо всех элементов массива <math>b</math> используется один и тот же скаляр.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

Схема Горнера - метод для архитектуры классического, фон-неймановского типа. Даже на современных суперскалярных одноядерных системах эффективность её исполнения очень низка.

== Литература ==

<references />

[[en: Horners method]]

[[Категория:Законченные статьи]]
[[Категория:Алгоритмы с низким уровнем параллелизма]]

Умножение плотной неособенной матрицы на вектор (последовательный вещественный вариант)

2025-02-19T13:12:58Z

ASA:

{{level-a}}

{{algorithm
| name = Умножение плотной неособенной матрицы на вектор
| serial_complexity = <math>2mn</math>
| pf_height = <math>n</math>
| pf_width = <math>2m</math>
| input_data = <math>mn+m</math>
| output_data = <math>m</math>
}}

Основные авторы описания: [[Участник:Frolov|А.В.Фролов]], [[Участник:VadimVV|Вад.В.Воеводин]] ([[#Описание локальности данных и вычислений|раздел 2.2]]), [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|2.4]])

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

'''Умножение матрицы на вектор''' - одна из базовых задач в алгоритмах линейной алгебры, широко применяется в большом количестве разных методов.
Здесь мы рассмотрим умножение <math>y = Ax</math> плотной неособенной матрицы на вектор (последовательный вещественный вариант)<ref>В.В.Воеводин, Ю.А.Кузнецов. Матрицы и вычисления. М.: Наука, 1984.</ref>, то есть тот вариант, где никак не используются ни специальный вид матрицы, ни ассоциативные свойства операции сложения.

=== Математическое описание алгоритма ===

Исходные данные: плотная матрица <math>A</math> (элементы <math>a_{ij}</math>), умножаемый на неё вектор <math>x</math> (элементы <math>x_{i}</math>).

Вычисляемые данные: вектор решения <math>y</math> (элементы <math>y_{i}</math>).

Формулы метода:
:<math>
\begin{align}
y_{i} = \sum_{j = 1}^{n} a_{ij} x_{j}, \quad i \in [1, m].
\end{align}
</math>

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро умножения матрицы на вектор можно составить из множественных (всего их <math>m</math>) вычислений скалярных произведений строк матрицы <math>A</math> вектор <math>x</math>:

:<math> \sum_{j = 1}^{n} a_{ij} x_{j}</math>

в режиме накопления или без него, в зависимости от требований задачи.

=== Макроструктура алгоритма ===

Как уже записано в [[#Вычислительное ядро алгоритма|описании ядра алгоритма]], основную часть умножения матрицы на вектор составляют множественные (всего <math>m</math>) вычисления скалярных произведений строк матрицы <math>A</math> вектор <math>x</math>

:<math> \sum_{j = 1}^{n} a_{ij} x_{j}</math>

в режиме накопления или без него.

=== Схема реализации последовательного алгоритма ===

Для всех <math>i</math> от <math>1</math> до <math>m</math> по возрастанию выполняются

:<math>y_{i} = \sum_{j = 1}^{n} a_{ij} x_{j}</math>

Особо отметим, что вычисления сумм вида <math>\sum_{j = 1}^{n} a_{ij} x_{j}</math> производят в режиме накопления прибавлением к текущему (временному) значению вычисляемой компоненты вектора <math>y_{i}</math> произведений <math>a_{ij} x_{j}</math> для <math>j</math> от <math>1</math> до <math>n</math>, '''c возрастанием''' <math>j</math>, вначале все компоненты инициализируются нулями. При суммировании "по убыванию" общая схема принципиально не отличается и потому нами не рассматривается. Другие порядки выполнения суммирования приводят к изменению параллельных свойств алгоритма и будут рассматриваться нами в отдельных описаниях.

=== Последовательная сложность алгоритма ===

Для умножения квадратной матрицы на вектор порядка <math>n</math> (т.е. при <math>m=n</math>) в последовательном (наиболее быстром) варианте требуется:

* по <math>n^2</math> умножений и сложений.

Для умножения матрицы размером <math>m</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>mn</math> умножений и сложений.

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности (или использования функции вроде DPROD в Фортране), что ещё больше увеличивает затраты во времени, требуемом для выполнения умножения матрицы на вектор.

При классификации по последовательной сложности, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с квадратической сложностью'' (в случае неквадратной матрицы - с ''билинейной'').

=== Информационный граф ===

Опишем [[глоссарий#Граф алгоритма|граф алгоритма]] как аналитически, так и в виде рисунка.

[[Файл:YeqAX.png|500px|thumb|center|Рисунок 1. Граф последовательного умножения плотной матрицы на вектор с отображением входных и выходных данных]]

Граф алгоритма умножения плотной матрицы на вектор состоит из одной группы вершин, расположенной в целочисленных узлах двумерной области, соответствующая ей операция <math>a+bc</math>.

Естественно введённые координаты области таковы:
* <math>i</math> — меняется в диапазоне от <math>1</math> до <math>m</math>, принимая все целочисленные значения;
* <math>j</math> — меняется в диапазоне от <math>1</math> до <math>n</math>, принимая все целочисленные значения.

Аргументы операции следующие:
*<math>a</math>:
** при <math>j = 1</math> константа <math>0.</math>;
** при <math>j > 1</math> — результат срабатывания операции, соответствующей вершине с координатами <math>i, j-1</math>;
*<math>b</math> — элемент ''входных данных'', а именно <math>a_{ij}</math>;
*<math>c</math> - элемент входных данных <math>x_{j}</math>;

Результат срабатывания операции является:
* при <math>j < n</math> - ''промежуточным данным'' алгоритма;
* при <math>j = n</math> - выходным данным.

Описанный граф можно посмотреть на рисунке, выполненном для случая <math>m = 4, n = 5</math>. Здесь вершины обозначены голубым цветом. Изображена подача только входных данных из вектора <math>x</math>, подача элементов матрицы <math>A</math>, идущая во все вершины, на рисунке не представлена.

=== Ресурс параллелизма алгоритма ===

Для алгоритма умножения квадратной матрицы на вектор порядка n в параллельном варианте требуется последовательно выполнить следующие ярусы:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>n</math> операций).

Для умножения матрицы размером <math>m</math> строк на <math>n</math> столбцов на вектор порядка <math>n</math> в последовательном (наиболее быстром) варианте требуется:

* по <math>n</math> ярусов умножений и сложений (в каждом из ярусов — <math>m</math> операций).

При этом использование режима накопления требует совершения умножений и сложений в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения алгоритма в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает некоторое увеличение требуемой памяти.

При классификации по высоте ЯПФ, таким образом, алгоритм умножения матрицы на вектор относится к алгоритмам ''с линейной сложностью''. При классификации по ширине ЯПФ его сложность также будет ''линейной''.

=== Входные и выходные данные алгоритма ===

'''Входные данные''': матрица <math>A</math> (элементы <math>a_{ij}</math>), вектор <math>x</math> (элементы <math>x_{i}</math>).

'''Объём входных данных''': <math>mn+n</math> .

'''Выходные данные''': вектор <math>y</math> (элементы <math>y_{i}</math>).

'''Объём выходных данных''': <math>m</math>.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является ''линейным'' (отношение квадратической или билинейной к линейной).

При этом вычислительная мощность алгоритма умножения матрицы на вектор, как отношение числа операций к суммарному объему входных и выходных данных – всего лишь ''константа''.

При этом алгоритм умножения матрицы на вектор полностью детерминирован. Использование другого порядка выполнения ассоциативных операций в данной версии нами не рассматривается.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте алгоритм умножения матрицы на вектор на Фортране можно записать так:

<source lang="fortran">

DO I = 1, M
S = 0.
DO J = 1, N
S = S + DPROD(A(I,J), X(J))
END DO
Y(I) = S
END DO
</source>
При этом для реализации режима накопления переменная <math>S</math> должна быть двойной точности.

=== Локальность данных и вычислений ===
==== Локальность реализации алгоритма ====
===== Структура обращений в память и качественная оценка локальности =====

[[file:mv mult 1.PNG|thumb|center|700px|Рисунок 2. Умножение плотной матрицы на вектор. Общий профиль обращений в память]]

На рис.2 представлен профиль обращений в память для реализации умножения плотной матрицы на вектор. В данном алгоритме задействовано три массива. Выделенный зеленым фрагмент 1 образован обращениями к результирующему вектору; фрагмент 2 – обращениями к исходному вектору; остальные обращения (фрагмент 3) выполняются к матрице, на которую умножается исходный вектор.

Если посмотреть на исходный код, становится понятным, что каждый фрагмент устроен очень просто:
<source lang="C">
for(int i = 0; i < size; i++)
for(int j = 0; j < size; j++)
vec_out[i] += matrix[i][j] * vec_in[j];
</source>

Видно, что фрагмент 1 (обращения к массиву vec_out) состоит из последовательного перебора всех элементов вектора, только к каждому элементу происходит подряд size обращений. Во фрагменте 2 (массив vec_in) выполняется обычный последовательный перебор, который затем повторяется size раз. Фрагмент 3 также представляет собой последовательный перебор всех элементов матрицы, который выполняется только один раз.

Самой высокой локальностью обладает фрагмент 1 из-за повторяющихся подряд обращений к одним и тем же элементам. Однако фрагмент 2 также обладает высокой как пространственной, так и временной локальностью, поскольку число повторных проходов достаточно велико. Фрагмент 3, как и остальные, характеризуется высокой пространственной локальностью (из-за последовательного перебора), однако очень низкой временной локальностью – повторные обращения в нем просто отсутствуют.

===== Количественная оценка локальности =====

Основной фрагмент реализации, на основе которого были получены количественные оценки, приведен [https://gitlab.srcc.msu.ru/vadim/locality/blob/master/benchmarks/d_matrix_vect_mult/d_matrix_vect_mult.h здесь] (функция Kernel). Условия запуска описаны [https://gitlab.srcc.msu.ru/vadim/locality/blob/master/README.md здесь].

Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.

На рис.3 приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Можно увидеть, что производительность данной программы очень высока, даже немного выше, чем производительность теста Linpack. Одна из основных причин этому – очень высокая локальность обращений к векторам.

[[file:mv mult daps ru.PNG|thumb|center|700px|Рисунок 3. Сравнение значений оценки daps]]

Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность.

На рис.4 приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Можно увидеть, что, согласно данной оценке, локальность реализации умножения матрицы на вектор высока, хотя и не среди первых значений. Однако можно заметить, что полученное значение лишь совсем немного ниже оценки cvg для, например, реализации метода Гаусса или лучших вариантов перемножения матрицы.

[[file:mv mult cvg.PNG|thumb|center|700px|Рисунок 4. Сравнение значений оценки cvg]]

=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
==== Масштабируемость алгоритма ====
==== Масштабируемость реализации алгоритма ====
[[file:Масштабируемость перемножения матрицы и вектора производительность.png|thumb|center|700px|Рисунок 5. Параллельная реализация произведения матрицы на вектор Максимальная производительность. ]]
[[file:Масштабируемость перемножения матрицы и вектора эффективность.png|thumb|center|700px|Рисунок 6. Параллельная реализация произведения матрицы на вектор Максимальная эффективность. ]]
Набор изменяемых параметров запуска реализации алгоритма и границы значений параметров алгоритма:
* число процессоров [4 : 256]
* размерность матрицы [1024 : 51200]
Эффективность выполнения реализации алгоритма
* Минимальная эффективность 0,02%
* Максимальная эффективность 9,55%
Оценка масштабируемости
* По числу процессов: -0.01517 – при увеличении числа процессов эффективность убывает достаточно интенсивно на всей рассмотренной области изменений параметров запуска. Уменьшение эффективности на рассмотренной области работы параллельной программы звязано с увеличением числа пересылок с ростом числа процессов и как следствие ростом накладных расходов на организацию вычислений. Основной вклад в значение эффективности вносит область с малым числом процессов и малой задачей, там эффективность достигает максимума в 9,5%. Далее эффективность очень резко падает до уровня около 1% Присутствует область, на которой при увеличении числа процессов эффективность возрастает, но при дальнейшем росте продолжает снижаться. Это скорее всего объясняется декомпозицей данных, при которой наступает момент, когда размер матрицы позволяет блокам укладываться в КЭШ-память. Так же это подтверждает проявление этого явления, но со смещением по числу процессов, и при увеличении вычислительной сложности задачи.
* По размеру задачи: -0.0014 – при увеличении размера задачи эффективность в целом уменьшается по рассматриваемой области, хотя и менее интенсивно, чем при увеличении числа процессов. Снижение эффективности объясняется тем, что при росте вычислительной сложности существенно возрастают объемы передаваемых данных. При увеличении размера данных наступает момент резкого снижения эффективности с значений около 1% к долям процента и минимуму. С увеличением числа процессоров такой переход появляется на большем объеме данных. Это свидетельствует о том, что присутствует момент, когда данных слишком много и эффективность работы с ними становится значительно ниже, но чем больше имеется процессов, там позже наступает такой момент декомпозиции. Присутствует область возрастания эффективности, на всех рассмотренных размерах матрицы. Это объясняется тем, что при малом размере задачи данные хорошо укладываются в КЭШ память, что приводит к высокой эффективности работы приложения при малом размере задачи. При дальнейшем увеличении размера эффективность уменьшается при выходе за границы КЭШ-памяти.
* По двум направлениям: -0.0001546 – при рассмотрении увеличения, как вычислительной сложности, так и числа процессов по всей рассмотренной области значений уменьшается, интенсивность уменьшения эффективности не очень высока. В совокупности с тем фактом, что разница между максимальной и минимальной эффективностью на рассмотренной области значений параметров составляет около 9% говорит о том, что уменьшение эффективности по всей области довольно равномерное, но интенсивно лишь в не очень больших участках по площади. На остальной области значений параметров изменения эффективности не столь значительны и находятся на приблизительно одном и том же уровне.

[https://gitlab.srcc.msu.ru/alex-teplov/Scalability/blob/master/matrix_vector_mult/mpi_mat_vect_time.c Реализация алгоритма на языке C]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===

== Литература ==
<references />

[[Категория:Статьи в работе]]
[[Категория:Матрично-векторные операции]]

[[En:Dense matrix-vector multiplication]]

Структура описания свойств алгоритмов

2024-12-04T10:32:04Z

ASA:

Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждого алгоритма. Описание состоит из двух частей. В [[#ЧАСТЬ. Свойства и структура алгоритмов|первой части]] описываются собственно алгоритмы и их свойства, а [[#ЧАСТЬ. Программная реализация алгоритмов|вторая]] посвящена описанию особенностей их программной реализации с учетом конкретных программно-аппаратных платформ. Такое деление на части сделано для того, чтобы машинно-независимые свойства алгоритмов, которые определяют качество их реализации на параллельных вычислительных системах, были бы выделены и описаны отдельно от множества вопросов, связанных с последующими этапами программирования алгоритмов и исполнения результирующих программ.

Общая схема описания алгоритмов имеет следующий вид:

== Свойства и структура алгоритмов ==
Свойства алгоритмов никак не зависят от вычислительных систем, и с этой точки зрения данная часть AlgoWiki имеет безусловную собственную ценность. Описание алгоритма делается один раз, после чего многократно используется для его реализации в различных программно-аппаратных средах. Несмотря на то, что в данной части мы рассматриваем лишь машинно-независимые свойства алгоритмов, соображения, важные на этапе реализации, или же ссылки на соответствующие пункты [[#ЧАСТЬ. Программная реализация алгоритмов|части II AlgoWiki]], здесь также вполне уместны.

=== Общее описание алгоритма ===
В данном разделе представляется самый первый вариант описания тех задач (или классов задач), для решения которых предназначен алгоритм. В описании поясняются особенности как алгоритма, так и объектов, с которыми он работает. Если описание соответствует целому классу схожих по структуре алгоритмов, либо же посвящено описанию отдельного представителя некоторого класса, то это здесь указывается явно. Описываются базовые математические свойства и структура входных данных. При необходимости, в описании могут присутствовать формулы, а также даваться ссылки на описания других используемых алгоритмов. Данное описание должно быть достаточным для однозначного понимания сути решаемой задачи.

=== Математическое описание алгоритма ===
Приводится математическое описание решаемой задачи в виде совокупности формул и соотношений, как это принято в книгах и учебниках. По возможности, используются общепринятые обозначения и способы записи. Должны быть явно определены все использованные обозначения и описаны свойства входных данных. Представленное описание должно быть достаточным для однозначного понимания постановки решаемой задачи для человека, знающего математику.

=== Вычислительное ядро алгоритма ===
В описываемом алгоритме выделяется и описывается [[глоссарий#Вычислительное ядро|''вычислительное ядро'']], т.е. та часть алгоритма, на которую приходится основное время работы алгоритма. Если в алгоритме несколько вычислительных ядер, то отдельно описывается каждое ядро. Описание может быть сделано в достаточно произвольной форме: словесной или с использованием языка математических формул. Вычислительное ядро может полностью совпадать с описываемым алгоритмом.

=== Макроструктура алгоритма ===
Если алгоритм использует в качестве составных частей другие алгоритмы, то это указывается в данном разделе. Если в дальнейшем имеет смысл описывать алгоритм не в максимально детализированном виде (т.е. на уровне арифметических операций), а давать только его макроструктуру, то здесь описывается структура и состав макроопераций. Если в других разделах описания данного алгоритма в рамках AlgoWiki используются введенные здесь макрооперации, то здесь даются пояснения, необходимые для однозначной интерпретации материала. Типичные варианты макроопераций, часто встречающиеся на практике: нахождение суммы элементов вектора, скалярное произведение векторов, умножение матрицы на вектор, решение системы линейных уравнений малого порядка, сортировка, вычисление значения функции в некоторой точке, поиск минимального значения в массиве, транспонирование матрицы, вычисление обратной матрицы и многие другие.

Описание макроструктуры очень полезно на практике. Параллельная структура алгоритмов может быть хорошо видна именно на макроуровне, в то время как максимально детальное отображение всех операций может сильно усложнить картину. Аналогичные аргументы касаются и многих вопросов реализации, и если для алгоритма эффективнее и/или технологичнее оставаться на макроуровне, оформив макровершину, например, в виде отдельной процедуры, то это и нужно отразить в данном разделе.
Выбор макроопераций не однозначен, причем, выделяя различные макрооперации, можно делать акценты на различных свойствах алгоритмов. С этой точки зрения, в описании одного алгоритма может быть представлено несколько вариантов его макроструктуры, дающих дополнительную информацию о его структуре. На практике, подобные альтернативные формы представления макроструктуры алгоритма могут оказаться исключительно полезными для его эффективной реализации на различных вычислительных платформах.

=== Схема реализации последовательного алгоритма ===
Здесь описываются все шаги, которые нужно выполнить при последовательной реализации данного алгоритма. В некотором смысле, данный раздел является избыточным, поскольку математическое описание уже содержит всю необходимую информацию. Однако он, несомненно, полезен: схема реализации алгоритма выписывается явно, помогая однозначной интерпретации приводимых далее оценок и свойств.

Описание может быть выполнено в виде блок-схемы, последовательности математических формул, обращений к описанию других алгоритмов, фрагмента кода на Фортране, Си или другом языке программирования, фрагмента кода на псевдокоде и т.п. Главное - это сделать схему реализации последовательного алгоритма полностью понятной. Совершенно не обязательно все шаги детализировать до элементарных операций, отдельные шаги могут соответствовать макрооперациям, отвечающим другим алгоритмам.

Описание схемы реализации вполне может содержать и словесные пояснения, отражающие какие-либо тонкие нюансы самого алгоритма или его реализации. Уже в данном разделе можно сказать про возможный компромисс между объемом требуемой оперативной памяти и временем работы алгоритма, между используемыми структурами данных и степенью доступного параллелизма. В частности, часто возникает ситуация, когда можно ввести дополнительные временные массивы или же отказаться от использования специальных компактных схем хранения данных, увеличивая степень доступного параллелизма.

=== Последовательная сложность алгоритма ===
В данном разделе описания свойств алгоритма приводится оценка его [[глоссарий#Последовательная сложность|''последовательной сложности'']], т.е. числа операций, которые нужно выполнить при последовательном исполнении алгоритма (в соответствии с [[#Описание схемы реализации последовательного алгоритма|п.1.5]]). Для разных алгоритмов понятие операции, в терминах которой оценивается его сложность, может существенно различаться. Это могут быть операции для работы с вещественными числами, целыми числами, поразрядные операции, обращения в память, обновления элементов массива, элементарные функции, макрооперации и другие. В LU-разложении преобладают арифметические операции над вещественными числами, а для транспонирования матриц важны лишь обращения к памяти: это и должно найти отражение в описании.

Если выбор конкретного типа операций для оценки сложности алгоритма не очевиден, то нужно привести обоснование возможных вариантов. В некоторых случаях можно приводить оценку не всего алгоритма, а лишь его вычислительного ядра: в таком случае это нужно отметить, сославшись [[#Общее описание алгоритма|на п.1.1]].

Например, сложность алгоритма суммирования элементов вектора сдваиванием равна <math>n-1</math>. Сложность быстрого преобразования Фурье (базовый алгоритм Кули-Тьюки) для векторов с длиной, равной степени двойки – <math>n\log_2n</math> операций комплексного сложения и <math>(n\log_2n)/2</math> операций комплексного умножения. Сложность базового алгоритма разложения Холецкого (точечный вариант для плотной симметричной и положительно-определенной матрицы) это <math>n</math> вычислений квадратного корня, <math>n(n-1)/2</math> операций деления, по <math>(n^3-n)/6</math> операций умножения и сложения (вычитания).

=== Информационный граф ===
Это очень важный раздел описания. Именно здесь можно показать (увидеть) как устроена параллельная структура алгоритма, для чего приводится описание и изображение его информационного графа ([[глоссарий#Граф алгоритма|''графа алгоритма'']] <ref name="VVVVVV">Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с. </ref>). Для рисунков с изображением графа будут составлены рекомендации по их формированию, чтобы все информационные графы, внесенные в энциклопедию, можно было бы воспринимать и интерпретировать одинаково. Дополнительно можно привести полное параметрическое описание графа в терминах покрывающих функций <ref name="VVVVVV" />.

Интересных вариантов для отражения информационной структуры алгоритмов много. Для каких-то алгоритмов нужно показать максимально подробную структуру, а иногда важнее макроструктура. Много информации несут разного рода проекции информационного графа, выделяя его регулярные составляющие и одновременно скрывая несущественные детали. Иногда оказывается полезным показать последовательность в изменении графа при изменении значений внешних переменных (например, размеров матриц): мы часто ожидаем "подобное" изменение информационного графа, но это изменение не всегда очевидно на практике.

В целом, задача изображения графа алгоритма весьма нетривиальна. Начнем с того, что это потенциально бесконечный граф, число вершин и дуг которого определяется значениями внешних переменных, а они могут быть весьма и весьма велики. В такой ситуации, как правило, спасают упомянутые выше соображения подобия, делающие графы для разных значений внешних переменных "похожими": почти всегда достаточно привести лишь один граф небольшого размера, добавив, что графы для остальных значений будут устроены "точно также". На практике, увы, не всегда все так просто, и здесь нужно быть аккуратным.

Далее, граф алгоритма - это потенциально многомерный объект. Наиболее естественная система координат для размещения вершин и дуг информационного графа опирается на структуру вложенности циклов в реализации алгоритма. Если глубина вложенности циклов не превышает трех, то и граф размещается в привычном трехмерном пространстве, однако для более сложных циклических конструкций с глубиной вложенности 4 и больше необходимы специальные методы представления и изображения графов.

В данном разделе AlgoWiki могут использоваться многие интересные возможности, которые еще подлежат обсуждению: возможность повернуть граф при его отображении на экране компьютера для выбора наиболее удобного угла обзора, разметка вершин по типу соответствующим им операций, отражение [[глоссарий#Ярусно-параллельная форма графа алгоритма|''ярусно-параллельной формы графа'']] и другие. Но в любом случае нужно не забывать главную задачу данного раздела - показать информационную структуру алгоритма так, чтобы стали понятны все его ключевые особенности, особенности параллельной структуры, особенности множеств дуг, участки регулярности и, напротив, участки с недерминированной структурой, зависящей от входных данных.

На рис.1 показана информационная структура алгоритма умножения матриц, на рис.2 - информационная структура одного из вариантов алгоритма решения систем линейных алгебраических уравнений с блочно-двухдиагональной матрицей.

[[file:Fig1.svg|thumb|center|300px|Рис.1. Информационная структура алгоритма умножения матриц]]
[[file:Fig2.svg|thumb|center|300px|Рис.2. Информационная структура одного из вариантов алгоритма решения систем линейных алгебраических уравнений с блочно-двухдиагональной матрицей]]

=== Ресурс параллелизма алгоритма ===
Здесь приводится оценка [[глоссарий#Параллельная сложность|''параллельной сложности'']] алгоритма: числа шагов, за которое можно выполнить данный алгоритм в предположении доступности неограниченного числа необходимых процессоров (функциональных устройств, вычислительных узлов, ядер и т.п.). Параллельная сложность алгоритма понимается как высота канонической ярусно-параллельной формы <ref name="VVVVVV" />. Необходимо указать, в терминах каких операций дается оценка. Необходимо описать сбалансированность параллельных шагов по числу и типу операций, что определяется шириной ярусов канонической ярусно-параллельной формы и составом операций на ярусах.

Параллелизм в алгоритме часто имеет естественную иерархическую структуру. Этот факт очень полезен на практике, и его необходимо отразить в описании. Как правило, подобная иерархическая структура параллелизма хорошо отражается в последовательной реализации алгоритма через циклический профиль результирующей программы (конечно же, с учетом графа вызовов), поэтому циклический профиль ([[#Описание схемы реализации последовательного алгоритма|п.1.5]]) вполне может быть использован и для отражения ресурса параллелизма.

Для описания ресурса параллелизма алгоритма (ресурса параллелизма информационного графа) необходимо указать ключевые параллельные ветви в терминах [[глоссарий#Конечный параллелизм|''конечного'']] и [[глоссарий#Массовый параллелизм|''массового'']] параллелизма. Далеко не всегда ресурс параллелизма выражается просто, например, через [[глоссарий#Кооодинатный параллелизм|''координатный параллелизм'']] или, что то же самое, через независимость итераций некоторых циклов (да-да-да, циклы - это понятие, возникающее лишь на этапе реализации, но здесь все так связано… В данном случае, координатный параллелизм означает, что информационно независимые вершины лежат на гиперплоскостях, перпендикулярных одной из координатных осей). С этой точки зрения, не менее важен и ресурс [[глоссарий#Скошенный параллелизм|''скошенного параллелизма'']]. В отличие от координатного параллелизма, скошенный параллелизм намного сложнее использовать на практике, но знать о нем необходимо, поскольку иногда других вариантов и не остается: нужно оценить потенциал алгоритма, и лишь после этого, взвесив все альтернативы, принимать решение о конкретной параллельной реализации. Хорошей иллюстрацией может служить алгоритм, структура которого показана на рис.2: координатного параллелизма нет, но есть параллелизм скошенный, использование которого снижает сложность алгоритма с <math>n\times m</math> в последовательном случае до <math>(n+m-1)</math> в параллельном варианте.

Рассмотрим алгоритмы, последовательная сложность которых уже оценивалась в [[#Последовательная сложность алгоритма|п.1.6]]. Параллельная сложность алгоритма суммирования элементов вектора сдваиванием равна <math>\log_2n</math>, причем число операций на каждом ярусе убывает с <math>n/2</math> до <math>1</math>. Параллельная сложность быстрого преобразования Фурье (базовый алгоритм Кули-Тьюки) для векторов с длиной, равной степени двойки - <math>\log_2n</math>. Параллельная сложность базового алгоритма разложения Холецкого (точечный вариант для плотной симметричной и положительно-определенной матрицы) это <math>n</math> шагов для вычислений квадратного корня, <math>(n-1)</math> шагов для операций деления и <math>(n-1)</math> шагов для операций умножения и сложения.

=== Входные и выходные данные алгоритма ===
В данном разделе необходимо описать объем, структуру, особенности и свойства входных и выходных данных алгоритма: векторы, матрицы, скаляры, множества, плотные или разреженные структуры данных, их объем. Полезны предположения относительно диапазона значений или структуры, например, диагональное преобладание в структуре входных матриц, соотношение между размером матриц по отдельным размерностям, большое число матриц очень малой размерности, близость каких-то значений к машинному нулю, характер разреженности матриц и другие.

=== Свойства алгоритма ===
Описываются прочие свойства алгоритма, на которые имеет смысл обратить внимание на этапе реализации. Как и ранее, никакой привязки к конкретной программно-аппаратной платформе не предполагается, однако вопросы реализации в проекте AlgoWiki всегда превалируют, и необходимость обсуждения каких-либо свойств алгоритмов определяется именно этим.

Весьма полезным является ''соотношение последовательной и параллельной сложности'' алгоритма. Оба понятия мы рассматривали ранее, но здесь делается акцент на том выигрыше, который теоретически может дать параллельная реализация алгоритма. Не менее важно описать и те сложности, которые могут возникнуть в процессе получения параллельной версии алгоритма.

[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']] алгоритма равна отношению числа операций к суммарному объему входных и выходных данных. Она показывает, сколько операций приходится на единицу переданных данных. Несмотря на простоту данного понятия, это значение исключительно полезно на практике: чем выше вычислительная мощность, тем меньше накладных расходов вызывает перемещение данных для их обработки, например, на сопроцессоре, ускорителе или другом узле кластера. Например, вычислительная мощность скалярного произведения двух векторов равна всего лишь <math>1</math>, а вычислительная мощность алгоритма умножения двух квадратных матриц равна <math>2n/3</math>.

Вопрос первостепенной важности на последующем этапе реализации - это [[глоссарий#Устойчивость|''устойчивость'']] алгоритма. Все, что касается различных сторон этого понятия, в частности, оценки устойчивости, должно быть описано в данном разделе.

''Сбалансированность'' вычислительного процесса можно рассматривать с разных сторон. Здесь и сбалансированность типов операций, в частности, арифметических операций между собой (сложение, умножение, деление) или же арифметических операций по отношению к операциям обращения к памяти (чтение/запись). Здесь и сбалансированность операций между параллельными ветвями алгоритма. С одной стороны, балансировка нагрузки является необходимым условием эффективной реализации алгоритма. Вместе с этим, это очень непростая задача, и в описании должно быть отмечено явно, насколько алгоритм обладает этой особенностью. Если обеспечение сбалансированности не очевидно, желательно описать возможные пути решения этой задачи.

На практике важна [[глоссарий#Детерминированность|''детерминированность алгоритмов'']], под которой будем понимать постоянство структуры вычислительного процесса. С этой точки зрения, классическое умножение плотных матриц является детерминированным алгоритмом, поскольку его структура при фиксированном размере матриц никак не зависит от элементов входных матриц. Умножение разреженных матриц, когда матрица хранятся в одном из специальных форматов, свойством детерминированности уже не обладает: его свойства, например, степень локальности данных зависит от структуры разреженности входных матриц. Итерационный алгоритм с выходом по точности также не является детерминированным: число итераций, а значит и число операций, меняется в зависимости от входных данных. В этом же ряду стоит использование датчиков случайных чисел, меняющих вычислительный процесс для различных запусков программы. Причина выделения свойства детерминированности понятна: работать с детерминированным алгоритмом проще, поскольку один раз найденная структура и будет определять качество его реализации. Если детерминированность нарушается, то это должно быть здесь описано вместе с описанием того, как недетерминированность влияет на структуру вычислительного процесса.

Серьезной причиной недетерминированности работы параллельных программ является изменение порядка выполнения ассоциативных операций. Типичный пример - это использование глобальных MPI-операций на множестве параллельных процессов, например, суммирование элементов распределенного массива. Система времени исполнения MPI сама выбирает порядок выполнения операций, предполагая выполнение свойства ассоциативности, из-за чего ошибки округления меняются от запуска программы к запуску, внося изменения в конечный результат ее работы. Это очень серьезная проблема, которая сегодня встречается часто на системах с массовым параллелизмом и определяет отсутствие повторяемости результатов работы параллельных программ. Данная особенность характерна для [[#ЧАСТЬ. Программная реализация алгоритмов|второй части AlgoWiki]], посвященной реализации алгоритмов, но вопрос очень важный, и соответствующие соображения, по возможности, должны быть отмечены и здесь.

Заметим, что, в некоторых случаях, недетерминированность в структуре алгоритмов можно "убрать" введением соответствующих макроопераций, после чего структура становится не только детерминированной, но и более понятной для восприятия. Подобное действие также следует отразить в данном разделе.

[[глоссарий#Степень исхода|''Степень исхода вершины информационного графа'']] показывает, в скольких операциях ее результат будет использоваться в качестве аргумента. Если степень исхода вершины велика, то на этапе реализации алгоритма нужно позаботиться об эффективном доступе к результату ее работы. В этом смысле, особый интерес представляют рассылки данных, когда результат выполнения одной операции используется во многих других вершинах графа, причем число таких вершин растет с увеличением значения внешних переменных.

''"Длинные" дуги в информационном графе'' <ref name="VVVVVV" /> говорят о потенциальных сложностях с размещением данных в иерархии памяти компьютера на этапе выполнения программы. С одной стороны, длина дуги зависит от выбора конкретной системы координат, в которой расположены вершины графа, а потому в другой системе координат они попросту могут исчезнуть (но не появится ли одновременно других длинных дуг?). А с другой стороны, вне зависимости от системы координат их присутствие может быть сигналом о необходимости длительного хранения данных на определенном уровне иерархии, что накладывает дополнительные ограничения на эффективность реализации алгоритма. Одной из причин возникновения длинных дуг являются рассылки скалярных величин по всем итерациям какого-либо цикла: в таком виде длинные дуги не вызывают каких-либо серьезных проблем на практике.

Для проектирования специализированных процессоров или реализации алгоритма на ПЛИС представляют интерес ''компактные укладки информационного графа'' <ref name="VVVVVV" />, которые также имеет смысл привести в данном разделе.

== Программная реализация алгоритма ==
Вторая часть описания алгоритмов в рамках AlgoWiki рассматривает все составные части процесса их реализации. Рассматривается как последовательная реализация алгоритма, так и параллельная. Описывается взаимосвязь свойств программ, реализующих алгоритм, и особенностей архитектуры компьютера, на которой они выполняются. Исследуется работа с памятью, локальность данных и вычислений, описывается масштабируемость и эффективность параллельных программ, производительность компьютеров, достигаемая на данной программе. Обсуждаются особенности реализации для разных классов архитектур компьютеров, приводятся ссылки на реализации в существующих библиотеках.

=== Особенности реализации последовательного алгоритма ===
Здесь описываются особенности и варианты реализации алгоритма в виде последовательной программы, которые влияют на [[глоссарий#Эффективность реализации|''эффективность ее выполнения'']]. В частности, в данном разделе имеет смысл ''сказать о существовании блочных вариантов реализации алгоритма'', дополнительно описав потенциальные преимущества или недостатки, сопровождающие такую реализацию. Важный вопрос - это ''возможные варианты организации работы с данными'', варианты структур данных, наборов временных массивов и другие подобные вопросы. Для различных вариантов реализации следует оценить доступный ресурс параллелизма и объем требуемой памяти.

Важным нюансом является ''описание необходимой разрядности выполнения операций алгоритма'' (точности). На практике часто нет никакой необходимости выполнять все арифметические операции над вещественными числами с двойной точностью, т.к. это не влияет ни на устойчивость алгоритма, ни на точность получаемого результата. В таком случае, если значительную часть операций можно выполнять над типом float, и лишь в некоторых фрагментах необходим переход к типу double, это обязательно нужно отметить. Это прямое указание не только на правильную реализацию с точки зрения устойчивости по отношению к ошибкам округления, но и на более эффективную.

Опираясь на информацию из [[#Описание ресурса параллелизма алгоритма|п.1.8]] (описание ресурса параллелизма алгоритма), при описании последовательной версии стоит сказать про возможности [[глоссарий#Эквивалентное преобразование|''эквивалентного преобразования программ'']], реализующих данных алгоритм. В дальнейшем, это даст возможность простого использования доступного параллелизма или же просто покажет, как использовать присущий алгоритму параллелизм на практике. Например, параллелизм на уровне итераций самого внутреннего цикла обычно используется для векторизации. Однако, в некоторых случаях этот параллелизм можно поднять "вверх" по структуре вложенности объемлющих циклов, что делает возможной и эффективную реализацию данного алгоритма на многоядерных SMP-компьютерах.

С этой же точки зрения, в данном разделе весьма полезны соображения по реализации алгоритма на различных параллельных вычислительных платформах. Высокопроизводительные кластеры, многоядерные узлы, возможности для векторизации или использования ускорителей - особенности этих архитектур не только опираются на разные свойства алгоритмов, но и по-разному должны быть выражены в программах, что также желательно описать в данном разделе.

=== Возможные способы и особенности параллельной реализации алгоритма ===
Раздел довольно обширный, в котором должны быть описаны основные факты и положения, формирующие параллельную программу. К их числу можно отнести:
* представленный иерархически ресурс параллелизма, опирающийся на структуру циклических конструкций и на граф вызовов программы;
* комбинацию (иерархию) массового параллелизма и параллелизма конечного;
* возможные способы распределения операций между процессами/нитями;
* возможные способы распределения данных;
* оценку количества операций, объёма и числа пересылок данных (как общего числа, так и в пересчёте на каждый параллельный процесс);

и другие.

В этом же разделе должны быть даны рекомендации или сделаны комментарии относительно реализации алгоритма с помощью различных технологий параллельного программирования: MPI, OpenMP, CUDA или использования директив векторизации.

=== Результаты прогонов ===

В данном разделе суммируются результаты прогонов всех программных реализаций данного алгоритма на различных программно-аппаратных платформах.

=== Выводы для классов архитектур ===
В данный раздел должны быть включены рекомендации по реализации алгоритма для разных классов архитектур. Если архитектура какого-либо компьютера или платформы обладает специфическими особенностями, влияющими на эффективность реализации, то это здесь нужно отметить.

На практике это сделать можно по-разному: либо все свести в один текущий раздел, либо же соответствующие факты сразу включать в предшествующие разделы, где они обсуждаются и необходимы по смыслу. В некоторых случаях, имеет смысл делать отдельные варианты всей [[#ЧАСТЬ. Программная реализация алгоритмов|части II]] AlgoWiki применительно к отдельным классам архитектур, оставляя общей машинно-независимую [[#ЧАСТЬ. Свойства и структура алгоритмов|часть I]]. В любом случае, важно указать и позитивные, и негативные факты по отношению к конкретным классам. Можно говорить о возможных вариантах оптимизации или даже о "трюках" в написании программ, ориентированных на целевые классы архитектур.

== Литература ==
<references />

[[en:Description of algorithm properties and structure]]

Структура описания свойств алгоритмов

2024-12-04T10:28:12Z

ASA:

Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждого алгоритма. Описание состоит из двух частей. В [[#ЧАСТЬ. Свойства и структура алгоритмов|первой части]] описываются собственно алгоритмы и их свойства, а [[#ЧАСТЬ. Программная реализация алгоритмов|вторая]] посвящена описанию особенностей их программной реализации с учетом конкретных программно-аппаратных платформ. Такое деление на части сделано для того, чтобы машинно-независимые свойства алгоритмов, которые определяют качество их реализации на параллельных вычислительных системах, были бы выделены и описаны отдельно от множества вопросов, связанных с последующими этапами программирования алгоритмов и исполнения результирующих программ.

Общая схема описания алгоритмов имеет следующий вид:

== Свойства и структура алгоритмов ==
Свойства алгоритмов никак не зависят от вычислительных систем, и с этой точки зрения данная часть AlgoWiki имеет безусловную собственную ценность. Описание алгоритма делается один раз, после чего многократно используется для его реализации в различных программно-аппаратных средах. Несмотря на то, что в данной части мы рассматриваем лишь машинно-независимые свойства алгоритмов, соображения, важные на этапе реализации, или же ссылки на соответствующие пункты [[#ЧАСТЬ. Программная реализация алгоритмов|части II AlgoWiki]], здесь также вполне уместны.

=== Общее описание алгоритма ===
В данном разделе представляется самый первый вариант описания тех задач (или классов задач), для решения которых предназначен алгоритм. В описании поясняются особенности как алгоритма, так и объектов, с которыми он работает. Если описание соответствует целому классу схожих по структуре алгоритмов, либо же посвящено описанию отдельного представителя некоторого класса, то это здесь указывается явно. Описываются базовые математические свойства и структура входных данных. При необходимости, в описании могут присутствовать формулы, а также даваться ссылки на описания других используемых алгоритмов. Данное описание должно быть достаточным для однозначного понимания сути решаемой задачи.

=== Математическое описание алгоритма ===
Приводится математическое описание решаемой задачи в виде совокупности формул и соотношений, как это принято в книгах и учебниках. По возможности, используются общепринятые обозначения и способы записи. Должны быть явно определены все использованные обозначения и описаны свойства входных данных. Представленное описание должно быть достаточным для однозначного понимания постановки решаемой задачи для человека, знающего математику.

=== Вычислительное ядро алгоритма ===
В описываемом алгоритме выделяется и описывается [[глоссарий#Вычислительное ядро|''вычислительное ядро'']], т.е. та часть алгоритма, на которую приходится основное время работы алгоритма. Если в алгоритме несколько вычислительных ядер, то отдельно описывается каждое ядро. Описание может быть сделано в достаточно произвольной форме: словесной или с использованием языка математических формул. Вычислительное ядро может полностью совпадать с описываемым алгоритмом.

=== Макроструктура алгоритма ===
Если алгоритм использует в качестве составных частей другие алгоритмы, то это указывается в данном разделе. Если в дальнейшем имеет смысл описывать алгоритм не в максимально детализированном виде (т.е. на уровне арифметических операций), а давать только его макроструктуру, то здесь описывается структура и состав макроопераций. Если в других разделах описания данного алгоритма в рамках AlgoWiki используются введенные здесь макрооперации, то здесь даются пояснения, необходимые для однозначной интерпретации материала. Типичные варианты макроопераций, часто встречающиеся на практике: нахождение суммы элементов вектора, скалярное произведение векторов, умножение матрицы на вектор, решение системы линейных уравнений малого порядка, сортировка, вычисление значения функции в некоторой точке, поиск минимального значения в массиве, транспонирование матрицы, вычисление обратной матрицы и многие другие.

Описание макроструктуры очень полезно на практике. Параллельная структура алгоритмов может быть хорошо видна именно на макроуровне, в то время как максимально детальное отображение всех операций может сильно усложнить картину. Аналогичные аргументы касаются и многих вопросов реализации, и если для алгоритма эффективнее и/или технологичнее оставаться на макроуровне, оформив макровершину, например, в виде отдельной процедуры, то это и нужно отразить в данном разделе.
Выбор макроопераций не однозначен, причем, выделяя различные макрооперации, можно делать акценты на различных свойствах алгоритмов. С этой точки зрения, в описании одного алгоритма может быть представлено несколько вариантов его макроструктуры, дающих дополнительную информацию о его структуре. На практике, подобные альтернативные формы представления макроструктуры алгоритма могут оказаться исключительно полезными для его эффективной реализации на различных вычислительных платформах.

=== Схема реализации последовательного алгоритма ===
Здесь описываются все шаги, которые нужно выполнить при последовательной реализации данного алгоритма. В некотором смысле, данный раздел является избыточным, поскольку математическое описание уже содержит всю необходимую информацию. Однако он, несомненно, полезен: схема реализации алгоритма выписывается явно, помогая однозначной интерпретации приводимых далее оценок и свойств.

Описание может быть выполнено в виде блок-схемы, последовательности математических формул, обращений к описанию других алгоритмов, фрагмента кода на Фортране, Си или другом языке программирования, фрагмента кода на псевдокоде и т.п. Главное - это сделать схему реализации последовательного алгоритма полностью понятной. Совершенно не обязательно все шаги детализировать до элементарных операций, отдельные шаги могут соответствовать макрооперациям, отвечающим другим алгоритмам.

Описание схемы реализации вполне может содержать и словесные пояснения, отражающие какие-либо тонкие нюансы самого алгоритма или его реализации. Уже в данном разделе можно сказать про возможный компромисс между объемом требуемой оперативной памяти и временем работы алгоритма, между используемыми структурами данных и степенью доступного параллелизма. В частности, часто возникает ситуация, когда можно ввести дополнительные временные массивы или же отказаться от использования специальных компактных схем хранения данных, увеличивая степень доступного параллелизма.

=== Последовательная сложность алгоритма ===
В данном разделе описания свойств алгоритма приводится оценка его [[глоссарий#Последовательная сложность|''последовательной сложности'']], т.е. числа операций, которые нужно выполнить при последовательном исполнении алгоритма (в соответствии с [[#Описание схемы реализации последовательного алгоритма|п.1.5]]). Для разных алгоритмов понятие операции, в терминах которой оценивается его сложность, может существенно различаться. Это могут быть операции для работы с вещественными числами, целыми числами, поразрядные операции, обращения в память, обновления элементов массива, элементарные функции, макрооперации и другие. В LU-разложении преобладают арифметические операции над вещественными числами, а для транспонирования матриц важны лишь обращения к памяти: это и должно найти отражение в описании.

Если выбор конкретного типа операций для оценки сложности алгоритма не очевиден, то нужно привести обоснование возможных вариантов. В некоторых случаях можно приводить оценку не всего алгоритма, а лишь его вычислительного ядра: в таком случае это нужно отметить, сославшись [[#Общее описание алгоритма|на п.1.1]].

Например, сложность алгоритма суммирования элементов вектора сдваиванием равна <math>n-1</math>. Сложность быстрого преобразования Фурье (базовый алгоритм Кули-Тьюки) для векторов с длиной, равной степени двойки – <math>n\log_2n</math> операций комплексного сложения и <math>(n\log_2n)/2</math> операций комплексного умножения. Сложность базового алгоритма разложения Холецкого (точечный вариант для плотной симметричной и положительно-определенной матрицы) это <math>n</math> вычислений квадратного корня, <math>n(n-1)/2</math> операций деления, по <math>(n^3-n)/6</math> операций умножения и сложения (вычитания).

=== Информационный граф ===
Это очень важный раздел описания. Именно здесь можно показать (увидеть) как устроена параллельная структура алгоритма, для чего приводится описание и изображение его информационного графа ([[глоссарий#Граф алгоритма|''графа алгоритма'']] <ref name="VVVVVV">Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с. </ref>). Для рисунков с изображением графа будут составлены рекомендации по их формированию, чтобы все информационные графы, внесенные в энциклопедию, можно было бы воспринимать и интерпретировать одинаково. Дополнительно можно привести полное параметрическое описание графа в терминах покрывающих функций <ref name="VVVVVV" />.

Интересных вариантов для отражения информационной структуры алгоритмов много. Для каких-то алгоритмов нужно показать максимально подробную структуру, а иногда важнее макроструктура. Много информации несут разного рода проекции информационного графа, выделяя его регулярные составляющие и одновременно скрывая несущественные детали. Иногда оказывается полезным показать последовательность в изменении графа при изменении значений внешних переменных (например, размеров матриц): мы часто ожидаем "подобное" изменение информационного графа, но это изменение не всегда очевидно на практике.

В целом, задача изображения графа алгоритма весьма нетривиальна. Начнем с того, что это потенциально бесконечный граф, число вершин и дуг которого определяется значениями внешних переменных, а они могут быть весьма и весьма велики. В такой ситуации, как правило, спасают упомянутые выше соображения подобия, делающие графы для разных значений внешних переменных "похожими": почти всегда достаточно привести лишь один граф небольшого размера, добавив, что графы для остальных значений будут устроены "точно также". На практике, увы, не всегда все так просто, и здесь нужно быть аккуратным.

Далее, граф алгоритма - это потенциально многомерный объект. Наиболее естественная система координат для размещения вершин и дуг информационного графа опирается на структуру вложенности циклов в реализации алгоритма. Если глубина вложенности циклов не превышает трех, то и граф размещается в привычном трехмерном пространстве, однако для более сложных циклических конструкций с глубиной вложенности 4 и больше необходимы специальные методы представления и изображения графов.

В данном разделе AlgoWiki могут использоваться многие интересные возможности, которые еще подлежат обсуждению: возможность повернуть граф при его отображении на экране компьютера для выбора наиболее удобного угла обзора, разметка вершин по типу соответствующим им операций, отражение [[глоссарий#Ярусно-параллельная форма графа алгоритма|''ярусно-параллельной формы графа'']] и другие. Но в любом случае нужно не забывать главную задачу данного раздела - показать информационную структуру алгоритма так, чтобы стали понятны все его ключевые особенности, особенности параллельной структуры, особенности множеств дуг, участки регулярности и, напротив, участки с недерминированной структурой, зависящей от входных данных.

На рис.1 показана информационная структура алгоритма умножения матриц, на рис.2 - информационная структура одного из вариантов алгоритма решения систем линейных алгебраических уравнений с блочно-двухдиагональной матрицей.

[[file:Fig1.svg|thumb|center|300px|Рис.1. Информационная структура алгоритма умножения матриц]]
[[file:Fig2.svg|thumb|center|300px|Рис.2. Информационная структура одного из вариантов алгоритма решения систем линейных алгебраических уравнений с блочно-двухдиагональной матрицей]]

=== Ресурс параллелизма алгоритма ===
Здесь приводится оценка [[глоссарий#Параллельная сложность|''параллельной сложности'']] алгоритма: числа шагов, за которое можно выполнить данный алгоритм в предположении доступности неограниченного числа необходимых процессоров (функциональных устройств, вычислительных узлов, ядер и т.п.). Параллельная сложность алгоритма понимается как высота канонической ярусно-параллельной формы <ref name="VVVVVV" />. Необходимо указать, в терминах каких операций дается оценка. Необходимо описать сбалансированность параллельных шагов по числу и типу операций, что определяется шириной ярусов канонической ярусно-параллельной формы и составом операций на ярусах.

Параллелизм в алгоритме часто имеет естественную иерархическую структуру. Этот факт очень полезен на практике, и его необходимо отразить в описании. Как правило, подобная иерархическая структура параллелизма хорошо отражается в последовательной реализации алгоритма через циклический профиль результирующей программы (конечно же, с учетом графа вызовов), поэтому циклический профиль ([[#Описание схемы реализации последовательного алгоритма|п.1.5]]) вполне может быть использован и для отражения ресурса параллелизма.

Для описания ресурса параллелизма алгоритма (ресурса параллелизма информационного графа) необходимо указать ключевые параллельные ветви в терминах [[глоссарий#Конечный параллелизм|''конечного'']] и [[глоссарий#Массовый параллелизм|''массового'']] параллелизма. Далеко не всегда ресурс параллелизма выражается просто, например, через [[глоссарий#Кооодинатный параллелизм|''координатный параллелизм'']] или, что то же самое, через независимость итераций некоторых циклов (да-да-да, циклы - это понятие, возникающее лишь на этапе реализации, но здесь все так связано… В данном случае, координатный параллелизм означает, что информационно независимые вершины лежат на гиперплоскостях, перпендикулярных одной из координатных осей). С этой точки зрения, не менее важен и ресурс [[глоссарий#Скошенный параллелизм|''скошенного параллелизма'']]. В отличие от координатного параллелизма, скошенный параллелизм намного сложнее использовать на практике, но знать о нем необходимо, поскольку иногда других вариантов и не остается: нужно оценить потенциал алгоритма, и лишь после этого, взвесив все альтернативы, принимать решение о конкретной параллельной реализации. Хорошей иллюстрацией может служить алгоритм, структура которого показана на рис.2: координатного параллелизма нет, но есть параллелизм скошенный, использование которого снижает сложность алгоритма с <math>n\times m</math> в последовательном случае до <math>(n+m-1)</math> в параллельном варианте.

Рассмотрим алгоритмы, последовательная сложность которых уже оценивалась в [[#Последовательная сложность алгоритма|п.1.6]]. Параллельная сложность алгоритма суммирования элементов вектора сдваиванием равна <math>\log_2n</math>, причем число операций на каждом ярусе убывает с <math>n/2</math> до <math>1</math>. Параллельная сложность быстрого преобразования Фурье (базовый алгоритм Кули-Тьюки) для векторов с длиной, равной степени двойки - <math>\log_2n</math>. Параллельная сложность базового алгоритма разложения Холецкого (точечный вариант для плотной симметричной и положительно-определенной матрицы) это <math>n</math> шагов для вычислений квадратного корня, <math>(n-1)</math> шагов для операций деления и <math>(n-1)</math> шагов для операций умножения и сложения.

=== Входные и выходные данные алгоритма ===
В данном разделе необходимо описать объем, структуру, особенности и свойства входных и выходных данных алгоритма: векторы, матрицы, скаляры, множества, плотные или разреженные структуры данных, их объем. Полезны предположения относительно диапазона значений или структуры, например, диагональное преобладание в структуре входных матриц, соотношение между размером матриц по отдельным размерностям, большое число матриц очень малой размерности, близость каких-то значений к машинному нулю, характер разреженности матриц и другие.

=== Свойства алгоритма ===
Описываются прочие свойства алгоритма, на которые имеет смысл обратить внимание на этапе реализации. Как и ранее, никакой привязки к конкретной программно-аппаратной платформе не предполагается, однако вопросы реализации в проекте AlgoWiki всегда превалируют, и необходимость обсуждения каких-либо свойств алгоритмов определяется именно этим.

Весьма полезным является ''соотношение последовательной и параллельной сложности'' алгоритма. Оба понятия мы рассматривали ранее, но здесь делается акцент на том выигрыше, который теоретически может дать параллельная реализация алгоритма. Не менее важно описать и те сложности, которые могут возникнуть в процессе получения параллельной версии алгоритма.

[[глоссарий#Вычислительная мощность|''Вычислительная мощность'']] алгоритма равна отношению числа операций к суммарному объему входных и выходных данных. Она показывает, сколько операций приходится на единицу переданных данных. Несмотря на простоту данного понятия, это значение исключительно полезно на практике: чем выше вычислительная мощность, тем меньше накладных расходов вызывает перемещение данных для их обработки, например, на сопроцессоре, ускорителе или другом узле кластера. Например, вычислительная мощность скалярного произведения двух векторов равна всего лишь <math>1</math>, а вычислительная мощность алгоритма умножения двух квадратных матриц равна <math>2n/3</math>.

Вопрос первостепенной важности на последующем этапе реализации - это [[глоссарий#Устойчивость|''устойчивость'']] алгоритма. Все, что касается различных сторон этого понятия, в частности, оценки устойчивости, должно быть описано в данном разделе.

''Сбалансированность'' вычислительного процесса можно рассматривать с разных сторон. Здесь и сбалансированность типов операций, в частности, арифметических операций между собой (сложение, умножение, деление) или же арифметических операций по отношению к операциям обращения к памяти (чтение/запись). Здесь и сбалансированность операций между параллельными ветвями алгоритма. С одной стороны, балансировка нагрузки является необходимым условием эффективной реализации алгоритма. Вместе с этим, это очень непростая задача, и в описании должно быть отмечено явно, насколько алгоритм обладает этой особенностью. Если обеспечение сбалансированности не очевидно, желательно описать возможные пути решения этой задачи.

На практике важна [[глоссарий#Детерминированность|''детерминированность алгоритмов'']], под которой будем понимать постоянство структуры вычислительного процесса. С этой точки зрения, классическое умножение плотных матриц является детерминированным алгоритмом, поскольку его структура при фиксированном размере матриц никак не зависит от элементов входных матриц. Умножение разреженных матриц, когда матрица хранятся в одном из специальных форматов, свойством детерминированности уже не обладает: его свойства, например, степень локальности данных зависит от структуры разреженности входных матриц. Итерационный алгоритм с выходом по точности также не является детерминированным: число итераций, а значит и число операций, меняется в зависимости от входных данных. В этом же ряду стоит использование датчиков случайных чисел, меняющих вычислительный процесс для различных запусков программы. Причина выделения свойства детерминированности понятна: работать с детерминированным алгоритмом проще, поскольку один раз найденная структура и будет определять качество его реализации. Если детерминированность нарушается, то это должно быть здесь описано вместе с описанием того, как недетерминированность влияет на структуру вычислительного процесса.

Серьезной причиной недетерминированности работы параллельных программ является изменение порядка выполнения ассоциативных операций. Типичный пример - это использование глобальных MPI-операций на множестве параллельных процессов, например, суммирование элементов распределенного массива. Система времени исполнения MPI сама выбирает порядок выполнения операций, предполагая выполнение свойства ассоциативности, из-за чего ошибки округления меняются от запуска программы к запуску, внося изменения в конечный результат ее работы. Это очень серьезная проблема, которая сегодня встречается часто на системах с массовым параллелизмом и определяет отсутствие повторяемости результатов работы параллельных программ. Данная особенность характерна для [[#ЧАСТЬ. Программная реализация алгоритмов|второй части AlgoWiki]], посвященной реализации алгоритмов, но вопрос очень важный, и соответствующие соображения, по возможности, должны быть отмечены и здесь.

Заметим, что, в некоторых случаях, недетерминированность в структуре алгоритмов можно "убрать" введением соответствующих макроопераций, после чего структура становится не только детерминированной, но и более понятной для восприятия. Подобное действие также следует отразить в данном разделе.

[[глоссарий#Степень исхода|''Степень исхода вершины информационного графа'']] показывает, в скольких операциях ее результат будет использоваться в качестве аргумента. Если степень исхода вершины велика, то на этапе реализации алгоритма нужно позаботиться об эффективном доступе к результату ее работы. В этом смысле, особый интерес представляют рассылки данных, когда результат выполнения одной операции используется во многих других вершинах графа, причем число таких вершин растет с увеличением значения внешних переменных.

''"Длинные" дуги в информационном графе'' <ref name="VVVVVV" /> говорят о потенциальных сложностях с размещением данных в иерархии памяти компьютера на этапе выполнения программы. С одной стороны, длина дуги зависит от выбора конкретной системы координат, в которой расположены вершины графа, а потому в другой системе координат они попросту могут исчезнуть (но не появится ли одновременно других длинных дуг?). А с другой стороны, вне зависимости от системы координат их присутствие может быть сигналом о необходимости длительного хранения данных на определенном уровне иерархии, что накладывает дополнительные ограничения на эффективность реализации алгоритма. Одной из причин возникновения длинных дуг являются рассылки скалярных величин по всем итерациям какого-либо цикла: в таком виде длинные дуги не вызывают каких-либо серьезных проблем на практике.

Для проектирования специализированных процессоров или реализации алгоритма на ПЛИС представляют интерес ''компактные укладки информационного графа'' <ref name="VVVVVV" />, которые также имеет смысл привести в данном разделе.

== Программная реализация алгоритма ==
Вторая часть описания алгоритмов в рамках AlgoWiki рассматривает все составные части процесса их реализации. Рассматривается как последовательная реализация алгоритма, так и параллельная. Описывается взаимосвязь свойств программ, реализующих алгоритм, и особенностей архитектуры компьютера, на которой они выполняются. Исследуется работа с памятью, локальность данных и вычислений, описывается масштабируемость и эффективность параллельных программ, производительность компьютеров, достигаемая на данной программе. Обсуждаются особенности реализации для разных классов архитектур компьютеров, приводятся ссылки на реализации в существующих библиотеках.

=== Особенности реализации последовательного алгоритма ===
Здесь описываются особенности и варианты реализации алгоритма в виде последовательной программы, которые влияют на [[глоссарий#Эффективность реализации|''эффективность ее выполнения'']]. В частности, в данном разделе имеет смысл ''сказать о существовании блочных вариантов реализации алгоритма'', дополнительно описав потенциальные преимущества или недостатки, сопровождающие такую реализацию. Важный вопрос - это ''возможные варианты организации работы с данными'', варианты структур данных, наборов временных массивов и другие подобные вопросы. Для различных вариантов реализации следует оценить доступный ресурс параллелизма и объем требуемой памяти.

Важным нюансом является ''описание необходимой разрядности выполнения операций алгоритма'' (точности). На практике часто нет никакой необходимости выполнять все арифметические операции над вещественными числами с двойной точностью, т.к. это не влияет ни на устойчивость алгоритма, ни на точность получаемого результата. В таком случае, если значительную часть операций можно выполнять над типом float, и лишь в некоторых фрагментах необходим переход к типу double, это обязательно нужно отметить. Это прямое указание не только на правильную реализацию с точки зрения устойчивости по отношению к ошибкам округления, но и на более эффективную.

Опираясь на информацию из [[#Описание ресурса параллелизма алгоритма|п.1.8]] (описание ресурса параллелизма алгоритма), при описании последовательной версии стоит сказать про возможности [[глоссарий#Эквивалентное преобразование|''эквивалентного преобразования программ'']], реализующих данных алгоритм. В дальнейшем, это даст возможность простого использования доступного параллелизма или же просто покажет, как использовать присущий алгоритму параллелизм на практике. Например, параллелизм на уровне итераций самого внутреннего цикла обычно используется для векторизации. Однако, в некоторых случаях этот параллелизм можно поднять "вверх" по структуре вложенности объемлющих циклов, что делает возможной и эффективную реализацию данного алгоритма на многоядерных SMP-компьютерах.

С этой же точки зрения, в данном разделе весьма полезны соображения по реализации алгоритма на различных параллельных вычислительных платформах. Высокопроизводительные кластеры, многоядерные узлы, возможности для векторизации или использования ускорителей - особенности этих архитектур не только опираются на разные свойства алгоритмов, но и по-разному должны быть выражены в программах, что также желательно описать в данном разделе.

=== Результаты прогонов ===

В данном разделе суммируются результаты прогонов всех программных реализаций данного алгоритма на различных программно-аппаратных платформах.

=== Выводы для классов архитектур ===
В данный раздел должны быть включены рекомендации по реализации алгоритма для разных классов архитектур. Если архитектура какого-либо компьютера или платформы обладает специфическими особенностями, влияющими на эффективность реализации, то это здесь нужно отметить.

На практике это сделать можно по-разному: либо все свести в один текущий раздел, либо же соответствующие факты сразу включать в предшествующие разделы, где они обсуждаются и необходимы по смыслу. В некоторых случаях, имеет смысл делать отдельные варианты всей [[#ЧАСТЬ. Программная реализация алгоритмов|части II]] AlgoWiki применительно к отдельным классам архитектур, оставляя общей машинно-независимую [[#ЧАСТЬ. Свойства и структура алгоритмов|часть I]]. В любом случае, важно указать и позитивные, и негативные факты по отношению к конкретным классам. Можно говорить о возможных вариантах оптимизации или даже о "трюках" в написании программ, ориентированных на целевые классы архитектур.

== Литература ==
<references />

[[en:Description of algorithm properties and structure]]

Структура описания свойств программных реализаций

2024-12-04T10:23:50Z

ASA:

Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждой программной реализации.

Общая схема описания программных реализаций имеет следующий вид:

== Ссылки ==
В данном разделе описания реализации алгоритма приводятся ссылки, позволяющие найти данную реализацию и информацию о ней.

== Локальность данных и вычислений ==
Вопросы локальности данных и вычислений не часто изучаются на практике, но именно локальность определяет эффективность выполнения программ на современных вычислительных платформах <ref>Воеводин В.В., Воеводин Вад.В. Спасительная локальность суперкомпьютеров //Открытые системы. - 2013. - № 9. - С. 12-15.</ref><ref>Воеводин Вад.В., Швец П. Метод покрытий для оценки локальности использования данных в программах // Вестник УГАТУ. — 2014. — Т. 18, № 1(62). — С. 224–229.</ref>. В данном разделе приводятся оценки степени [[глоссарий#Локальность использования данных|''локальности данных'']] и [[глоссарий#Локальность вычислений|вычислений]] в программе, причем рассматривается как [[глоссарий#Временная локальность|''временна́я'']], так и [[глоссарий#Пространственная локальность|''пространственная'']] локальность. Отмечаются позитивные и негативные факты, связанные с локальностью, какие ситуации и при каких условиях могут возникать. Исследуется, как меняется локальность при переходе от последовательной реализации к параллельной. Выделяются ключевые шаблоны взаимодействия программы, реализующей описываемый алгоритм, с памятью. Отмечается возможная взаимосвязь между используемыми конструкциями языков программирования и степенью локальности, которыми обладают результирующие программы.

Отдельно приводятся профили взаимодействия с памятью для вычислительных ядер и ключевых фрагментов. Если из-за большого числа обращений по общему профилю сложно понять реальную специфику взаимодействия программ с памятью, то проводится последовательная детализация и приводится серия профилей более мелкого масштаба.

На рис.3 и рис.4 показаны профили обращения в память для программ, реализующих разложение Холецкого и быстрое преобразование Фурье, по которым хорошо видна разница свойств локальности у данных алгоритмов.

[[file:Cholesky_locality1.jpg|thumb|center|700px|Рис.3 Реализация метода Холецкого. Общий профиль обращений в память]]
[[file:fft 1.PNG|thumb|center|700px|Рис.4 Нерекурсивная реализация БПФ для степеней двойки. Общий профиль обращений в память]]

== Масштабируемость алгоритма и его реализации ==
Задача данного раздела - показать пределы [[глоссарий#Масштабируемость|''масштабируемости'']] алгоритма на различных платформах. Очень важный раздел. Нужно выделить, описать и оценить влияние точек барьерной синхронизации, глобальных операций, операций сборки/разборки данных, привести оценки или провести исследование [[глоссарий#Сильная масштабируемость|''сильной'']] и [[глоссарий#Слабая масштабируемость|''слабой'']] масштабируемости алгоритма и его реализаций.

Масштабируемость алгоритма определяет свойства самого алгоритма безотносительно конкретных особенностей используемого компьютера. Она показывает, насколько параллельные свойства алгоритма позволяют использовать возможности растущего числа процессорных элементов. Масштабируемость параллельных программ определяется как относительно конкретного компьютера, так и относительно используемой технологии программирования, и в этом случае она показывает, насколько может вырасти реальная производительность данного компьютера на данной программе, записанной с помощью данной технологии программирования, при использовании бóльших вычислительных ресурсов (ядер, процессоров, вычислительных узлов).

Ключевой момент данного раздела заключается в том, чтобы показать ''реальные параметры масштабируемости программы'' для данного алгоритма на различных вычислительных платформах в зависимости от числа процессоров и размера задачи <ref>Антонов А.С., Теплов А.М. О практической сложности понятия масштабируемости параллельных программ// Высокопроизводительные параллельные вычисления на кластерных системах (HPC 2014): Материалы XIV Международной конференции -Пермь: Издательство ПНИПУ, 2014. С. 20-27.</ref>. При этом важно подобрать такое соотношение между числом процессоров и размером задачи, чтобы отразить все характерные точки в поведении параллельной программы, в частности, достижение максимальной производительности, а также тонкие эффекты, возникающие, например, из-за блочной структуры алгоритма или иерархии памяти.

На рис.5. показана масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи. На графике хорошо видны области с большей производительностью, отвечающие уровням кэш-памяти.
[[file:Масштабируемость перемножения матриц производительность.png|thumb|center|700px|Рис.5 Масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи]]

== Динамические характеристики и эффективность реализации алгоритма ==
Это объемный раздел AlgoWiki, поскольку оценка эффективности реализации алгоритма требует комплексного подхода <ref>Никитенко Д.А. Комплексный анализ производительности суперкомпьютерных систем, основанный на данных системного мониторинга // Вычислительные методы и программирование. 2014. 15. 85–97.</ref>, предполагающего аккуратный анализ всех этапов от архитектуры компьютера до самого алгоритма. Основная задача данного раздела заключается в том, чтобы оценить степень эффективности параллельных программ, реализующих данный алгоритм на различных платформах, в зависимости от числа процессоров и размера задачи. Эффективность в данном разделе понимается широко: это и [[глоссарий#Эффективность распараллеливания|''эффективность распараллеливания'']] программы, это и [[глоссарий#Эффективность реализации|''эффективность реализации'']] программ по отношению к пиковым показателям работы вычислительных систем.

Помимо собственно показателей эффективности, нужно описать и все основные причины, из-за которых эффективность работы параллельной программы на конкретной вычислительной платформе не удается сделать выше. Это не самая простая задача, поскольку на данный момент нет общепринятой методики и соответствующего инструментария, с помощью которых подобный анализ можно было бы провести. Требуется оценить и описать эффективность работы с памятью (особенности профиля взаимодействия программы с памятью), эффективность использования заложенного в алгоритм ресурса параллелизма, эффективность использования коммуникационной сети (особенности коммуникационного профиля), эффективность операций ввода/вывода и т.п. Иногда достаточно интегральных характеристик по работе программы, в некоторых случаях полезно показать данные мониторинга нижнего уровня, например, по загрузке процессора, кэш-промахам, интенсивности использования сети Infiniband и т.п. Хорошее представление о работе параллельной MPI-программы дают данные трассировки, полученные, например, с помощью системы Scalasca.

== Результаты прогонов ==

В данном разделе приводятся результаты прогонов данной программной реализации на различных программно-аппаратных платформах.

Литература

<references />

[[en:Description of implementation properties and structure]]

Структура описания свойств программных реализаций

2024-12-04T10:23:04Z

ASA:

Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждой программной реализации.

Общая схема описания программных реализаций имеет следующий вид:

== Ссылки ==
В данном разделе описания реализации алгоритма приводятся ссылки, позволяющие найти данную реализацию и информацию о ней.

== Локальность данных и вычислений ==
Вопросы локальности данных и вычислений не часто изучаются на практике, но именно локальность определяет эффективность выполнения программ на современных вычислительных платформах <ref>Воеводин В.В., Воеводин Вад.В. Спасительная локальность суперкомпьютеров //Открытые системы. - 2013. - № 9. - С. 12-15.</ref><ref>Воеводин Вад.В., Швец П. Метод покрытий для оценки локальности использования данных в программах // Вестник УГАТУ. — 2014. — Т. 18, № 1(62). — С. 224–229.</ref>. В данном разделе приводятся оценки степени [[глоссарий#Локальность использования данных|''локальности данных'']] и [[глоссарий#Локальность вычислений|вычислений]] в программе, причем рассматривается как [[глоссарий#Временная локальность|''временна́я'']], так и [[глоссарий#Пространственная локальность|''пространственная'']] локальность. Отмечаются позитивные и негативные факты, связанные с локальностью, какие ситуации и при каких условиях могут возникать. Исследуется, как меняется локальность при переходе от последовательной реализации к параллельной. Выделяются ключевые шаблоны взаимодействия программы, реализующей описываемый алгоритм, с памятью. Отмечается возможная взаимосвязь между используемыми конструкциями языков программирования и степенью локальности, которыми обладают результирующие программы.

Отдельно приводятся профили взаимодействия с памятью для вычислительных ядер и ключевых фрагментов. Если из-за большого числа обращений по общему профилю сложно понять реальную специфику взаимодействия программ с памятью, то проводится последовательная детализация и приводится серия профилей более мелкого масштаба.

На рис.3 и рис.4 показаны профили обращения в память для программ, реализующих разложение Холецкого и быстрое преобразование Фурье, по которым хорошо видна разница свойств локальности у данных алгоритмов.

[[file:Cholesky_locality1.jpg|thumb|center|700px|Рис.3 Реализация метода Холецкого. Общий профиль обращений в память]]
[[file:fft 1.PNG|thumb|center|700px|Рис.4 Нерекурсивная реализация БПФ для степеней двойки. Общий профиль обращений в память]]

== Масштабируемость алгоритма и его реализации ==
Задача данного раздела - показать пределы [[глоссарий#Масштабируемость|''масштабируемости'']] алгоритма на различных платформах. Очень важный раздел. Нужно выделить, описать и оценить влияние точек барьерной синхронизации, глобальных операций, операций сборки/разборки данных, привести оценки или провести исследование [[глоссарий#Сильная масштабируемость|''сильной'']] и [[глоссарий#Слабая масштабируемость|''слабой'']] масштабируемости алгоритма и его реализаций.

Масштабируемость алгоритма определяет свойства самого алгоритма безотносительно конкретных особенностей используемого компьютера. Она показывает, насколько параллельные свойства алгоритма позволяют использовать возможности растущего числа процессорных элементов. Масштабируемость параллельных программ определяется как относительно конкретного компьютера, так и относительно используемой технологии программирования, и в этом случае она показывает, насколько может вырасти реальная производительность данного компьютера на данной программе, записанной с помощью данной технологии программирования, при использовании бóльших вычислительных ресурсов (ядер, процессоров, вычислительных узлов).

Ключевой момент данного раздела заключается в том, чтобы показать ''реальные параметры масштабируемости программы'' для данного алгоритма на различных вычислительных платформах в зависимости от числа процессоров и размера задачи <ref>Антонов А.С., Теплов А.М. О практической сложности понятия масштабируемости параллельных программ// Высокопроизводительные параллельные вычисления на кластерных системах (HPC 2014): Материалы XIV Международной конференции -Пермь: Издательство ПНИПУ, 2014. С. 20-27.</ref>. При этом важно подобрать такое соотношение между числом процессоров и размером задачи, чтобы отразить все характерные точки в поведении параллельной программы, в частности, достижение максимальной производительности, а также тонкие эффекты, возникающие, например, из-за блочной структуры алгоритма или иерархии памяти.

На рис.5. показана масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи. На графике хорошо видны области с большей производительностью, отвечающие уровням кэш-памяти.
[[file:Масштабируемость перемножения матриц производительность.png|thumb|center|700px|Рис.5 Масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи]]

== Динамические характеристики и эффективность реализации алгоритма ==
Это объемный раздел AlgoWiki, поскольку оценка эффективности реализации алгоритма требует комплексного подхода <ref>Никитенко Д.А. Комплексный анализ производительности суперкомпьютерных систем, основанный на данных системного мониторинга // Вычислительные методы и программирование. 2014. 15. 85–97.</ref>, предполагающего аккуратный анализ всех этапов от архитектуры компьютера до самого алгоритма. Основная задача данного раздела заключается в том, чтобы оценить степень эффективности параллельных программ, реализующих данный алгоритм на различных платформах, в зависимости от числа процессоров и размера задачи. Эффективность в данном разделе понимается широко: это и [[глоссарий#Эффективность распараллеливания|''эффективность распараллеливания'']] программы, это и [[глоссарий#Эффективность реализации|''эффективность реализации'']] программ по отношению к пиковым показателям работы вычислительных систем.

Помимо собственно показателей эффективности, нужно описать и все основные причины, из-за которых эффективность работы параллельной программы на конкретной вычислительной платформе не удается сделать выше. Это не самая простая задача, поскольку на данный момент нет общепринятой методики и соответствующего инструментария, с помощью которых подобный анализ можно было бы провести. Требуется оценить и описать эффективность работы с памятью (особенности профиля взаимодействия программы с памятью), эффективность использования заложенного в алгоритм ресурса параллелизма, эффективность использования коммуникационной сети (особенности коммуникационного профиля), эффективность операций ввода/вывода и т.п. Иногда достаточно интегральных характеристик по работе программы, в некоторых случаях полезно показать данные мониторинга нижнего уровня, например, по загрузке процессора, кэш-промахам, интенсивности использования сети Infiniband и т.п. Хорошее представление о работе параллельной MPI-программы дают данные трассировки, полученные, например, с помощью системы Scalasca.

== Результаты прогонов ==

В данном разделе приводятся результаты прогонов данной программной реализации на различных программно-аппаратных платформах.

== Литература ==

[[en:Description of implementation properties and structure]]

Структура описания свойств программных реализаций

2024-12-04T09:55:06Z

ASA:

Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждой программной реализации.

Общая схема описания программных реализаций имеет следующий вид:

== Ссылки ==
В данном разделе описания реализации алгоритма приводятся ссылки, позволяющие найти данную реализацию и информацию о ней.

== Локальность данных и вычислений ==
Вопросы локальности данных и вычислений не часто изучаются на практике, но именно локальность определяет эффективность выполнения программ на современных вычислительных платформах <ref>Воеводин В.В., Воеводин Вад.В. Спасительная локальность суперкомпьютеров //Открытые системы. - 2013. - № 9. - С. 12-15.</ref><ref>Воеводин Вад.В., Швец П. Метод покрытий для оценки локальности использования данных в программах // Вестник УГАТУ. — 2014. — Т. 18, № 1(62). — С. 224–229.</ref>. В данном разделе приводятся оценки степени [[глоссарий#Локальность использования данных|''локальности данных'']] и [[глоссарий#Локальность вычислений|вычислений]] в программе, причем рассматривается как [[глоссарий#Временная локальность|''временна́я'']], так и [[глоссарий#Пространственная локальность|''пространственная'']] локальность. Отмечаются позитивные и негативные факты, связанные с локальностью, какие ситуации и при каких условиях могут возникать. Исследуется, как меняется локальность при переходе от последовательной реализации к параллельной. Выделяются ключевые шаблоны взаимодействия программы, реализующей описываемый алгоритм, с памятью. Отмечается возможная взаимосвязь между используемыми конструкциями языков программирования и степенью локальности, которыми обладают результирующие программы.

Отдельно приводятся профили взаимодействия с памятью для вычислительных ядер и ключевых фрагментов. Если из-за большого числа обращений по общему профилю сложно понять реальную специфику взаимодействия программ с памятью, то проводится последовательная детализация и приводится серия профилей более мелкого масштаба.

На рис.3 и рис.4 показаны профили обращения в память для программ, реализующих разложение Холецкого и быстрое преобразование Фурье, по которым хорошо видна разница свойств локальности у данных алгоритмов.

[[file:Cholesky_locality1.jpg|thumb|center|700px|Рис.3 Реализация метода Холецкого. Общий профиль обращений в память]]
[[file:fft 1.PNG|thumb|center|700px|Рис.4 Нерекурсивная реализация БПФ для степеней двойки. Общий профиль обращений в память]]

== Масштабируемость алгоритма и его реализации ==
Задача данного раздела - показать пределы [[глоссарий#Масштабируемость|''масштабируемости'']] алгоритма на различных платформах. Очень важный раздел. Нужно выделить, описать и оценить влияние точек барьерной синхронизации, глобальных операций, операций сборки/разборки данных, привести оценки или провести исследование [[глоссарий#Сильная масштабируемость|''сильной'']] и [[глоссарий#Слабая масштабируемость|''слабой'']] масштабируемости алгоритма и его реализаций.

Масштабируемость алгоритма определяет свойства самого алгоритма безотносительно конкретных особенностей используемого компьютера. Она показывает, насколько параллельные свойства алгоритма позволяют использовать возможности растущего числа процессорных элементов. Масштабируемость параллельных программ определяется как относительно конкретного компьютера, так и относительно используемой технологии программирования, и в этом случае она показывает, насколько может вырасти реальная производительность данного компьютера на данной программе, записанной с помощью данной технологии программирования, при использовании бóльших вычислительных ресурсов (ядер, процессоров, вычислительных узлов).

Ключевой момент данного раздела заключается в том, чтобы показать ''реальные параметры масштабируемости программы'' для данного алгоритма на различных вычислительных платформах в зависимости от числа процессоров и размера задачи <ref>Антонов А.С., Теплов А.М. О практической сложности понятия масштабируемости параллельных программ// Высокопроизводительные параллельные вычисления на кластерных системах (HPC 2014): Материалы XIV Международной конференции -Пермь: Издательство ПНИПУ, 2014. С. 20-27.</ref>. При этом важно подобрать такое соотношение между числом процессоров и размером задачи, чтобы отразить все характерные точки в поведении параллельной программы, в частности, достижение максимальной производительности, а также тонкие эффекты, возникающие, например, из-за блочной структуры алгоритма или иерархии памяти.

На рис.5. показана масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи. На графике хорошо видны области с большей производительностью, отвечающие уровням кэш-памяти.
[[file:Масштабируемость перемножения матриц производительность.png|thumb|center|700px|Рис.5 Масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи]]

== Динамические характеристики и эффективность реализации алгоритма ==
Это объемный раздел AlgoWiki, поскольку оценка эффективности реализации алгоритма требует комплексного подхода <ref>Никитенко Д.А. Комплексный анализ производительности суперкомпьютерных систем, основанный на данных системного мониторинга // Вычислительные методы и программирование. 2014. 15. 85–97.</ref>, предполагающего аккуратный анализ всех этапов от архитектуры компьютера до самого алгоритма. Основная задача данного раздела заключается в том, чтобы оценить степень эффективности параллельных программ, реализующих данный алгоритм на различных платформах, в зависимости от числа процессоров и размера задачи. Эффективность в данном разделе понимается широко: это и [[глоссарий#Эффективность распараллеливания|''эффективность распараллеливания'']] программы, это и [[глоссарий#Эффективность реализации|''эффективность реализации'']] программ по отношению к пиковым показателям работы вычислительных систем.

Помимо собственно показателей эффективности, нужно описать и все основные причины, из-за которых эффективность работы параллельной программы на конкретной вычислительной платформе не удается сделать выше. Это не самая простая задача, поскольку на данный момент нет общепринятой методики и соответствующего инструментария, с помощью которых подобный анализ можно было бы провести. Требуется оценить и описать эффективность работы с памятью (особенности профиля взаимодействия программы с памятью), эффективность использования заложенного в алгоритм ресурса параллелизма, эффективность использования коммуникационной сети (особенности коммуникационного профиля), эффективность операций ввода/вывода и т.п. Иногда достаточно интегральных характеристик по работе программы, в некоторых случаях полезно показать данные мониторинга нижнего уровня, например, по загрузке процессора, кэш-промахам, интенсивности использования сети Infiniband и т.п. Хорошее представление о работе параллельной MPI-программы дают данные трассировки, полученные, например, с помощью системы Scalasca.

== Результаты прогонов ==

В данном разделе приводятся результаты прогонов данной программной реализации на различных программно-аппаратных платформах.

== Литература ==
<references />

[[en:Description of implementation properties and structure]]

Структура описания свойств программных реализаций

2024-12-04T09:04:31Z

ASA:

Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждой программной реализации.

Общая схема описания программных реализаций имеет следующий вид:

== Ссылки ==
В данном разделе описания реализации алгоритма приводятся ссылки, позволяющие найти данную реализацию и информацию о ней.

== Локальность данных и вычислений ==
Вопросы локальности данных и вычислений не часто изучаются на практике, но именно локальность определяет эффективность выполнения программ на современных вычислительных платформах <ref>Воеводин В.В., Воеводин Вад.В. Спасительная локальность суперкомпьютеров //Открытые системы. - 2013. - № 9. - С. 12-15.</ref><ref>Воеводин Вад.В., Швец П. Метод покрытий для оценки локальности использования данных в программах // Вестник УГАТУ. — 2014. — Т. 18, № 1(62). — С. 224–229.</ref>. В данном разделе приводятся оценки степени [[глоссарий#Локальность использования данных|''локальности данных'']] и [[глоссарий#Локальность вычислений|вычислений]] в программе, причем рассматривается как [[глоссарий#Временная локальность|''временна́я'']], так и [[глоссарий#Пространственная локальность|''пространственная'']] локальность. Отмечаются позитивные и негативные факты, связанные с локальностью, какие ситуации и при каких условиях могут возникать. Исследуется, как меняется локальность при переходе от последовательной реализации к параллельной. Выделяются ключевые шаблоны взаимодействия программы, реализующей описываемый алгоритм, с памятью. Отмечается возможная взаимосвязь между используемыми конструкциями языков программирования и степенью локальности, которыми обладают результирующие программы.

Отдельно приводятся профили взаимодействия с памятью для вычислительных ядер и ключевых фрагментов. Если из-за большого числа обращений по общему профилю сложно понять реальную специфику взаимодействия программ с памятью, то проводится последовательная детализация и приводится серия профилей более мелкого масштаба.

На рис.3 и рис.4 показаны профили обращения в память для программ, реализующих разложение Холецкого и быстрое преобразование Фурье, по которым хорошо видна разница свойств локальности у данных алгоритмов.

[[file:Cholesky_locality1.jpg|thumb|center|700px|Рис.3 Реализация метода Холецкого. Общий профиль обращений в память]]
[[file:fft 1.PNG|thumb|center|700px|Рис.4 Нерекурсивная реализация БПФ для степеней двойки. Общий профиль обращений в память]]

== Масштабируемость алгоритма и его реализации ==
Задача данного раздела - показать пределы [[глоссарий#Масштабируемость|''масштабируемости'']] алгоритма на различных платформах. Очень важный раздел. Нужно выделить, описать и оценить влияние точек барьерной синхронизации, глобальных операций, операций сборки/разборки данных, привести оценки или провести исследование [[глоссарий#Сильная масштабируемость|''сильной'']] и [[глоссарий#Слабая масштабируемость|''слабой'']] масштабируемости алгоритма и его реализаций.

Масштабируемость алгоритма определяет свойства самого алгоритма безотносительно конкретных особенностей используемого компьютера. Она показывает, насколько параллельные свойства алгоритма позволяют использовать возможности растущего числа процессорных элементов. Масштабируемость параллельных программ определяется как относительно конкретного компьютера, так и относительно используемой технологии программирования, и в этом случае она показывает, насколько может вырасти реальная производительность данного компьютера на данной программе, записанной с помощью данной технологии программирования, при использовании бóльших вычислительных ресурсов (ядер, процессоров, вычислительных узлов).

Ключевой момент данного раздела заключается в том, чтобы показать ''реальные параметры масштабируемости программы'' для данного алгоритма на различных вычислительных платформах в зависимости от числа процессоров и размера задачи <ref>Антонов А.С., Теплов А.М. О практической сложности понятия масштабируемости параллельных программ// Высокопроизводительные параллельные вычисления на кластерных системах (HPC 2014): Материалы XIV Международной конференции -Пермь: Издательство ПНИПУ, 2014. С. 20-27.</ref>. При этом важно подобрать такое соотношение между числом процессоров и размером задачи, чтобы отразить все характерные точки в поведении параллельной программы, в частности, достижение максимальной производительности, а также тонкие эффекты, возникающие, например, из-за блочной структуры алгоритма или иерархии памяти.

На рис.5. показана масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи. На графике хорошо видны области с большей производительностью, отвечающие уровням кэш-памяти.
[[file:Масштабируемость перемножения матриц производительность.png|thumb|center|700px|Рис.5 Масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи]]

== Динамические характеристики и эффективность реализации алгоритма ==
Это объемный раздел AlgoWiki, поскольку оценка эффективности реализации алгоритма требует комплексного подхода <ref>Никитенко Д.А. Комплексный анализ производительности суперкомпьютерных систем, основанный на данных системного мониторинга // Вычислительные методы и программирование. 2014. 15. 85–97.</ref>, предполагающего аккуратный анализ всех этапов от архитектуры компьютера до самого алгоритма. Основная задача данного раздела заключается в том, чтобы оценить степень эффективности параллельных программ, реализующих данный алгоритм на различных платформах, в зависимости от числа процессоров и размера задачи. Эффективность в данном разделе понимается широко: это и [[глоссарий#Эффективность распараллеливания|''эффективность распараллеливания'']] программы, это и [[глоссарий#Эффективность реализации|''эффективность реализации'']] программ по отношению к пиковым показателям работы вычислительных систем.

Помимо собственно показателей эффективности, нужно описать и все основные причины, из-за которых эффективность работы параллельной программы на конкретной вычислительной платформе не удается сделать выше. Это не самая простая задача, поскольку на данный момент нет общепринятой методики и соответствующего инструментария, с помощью которых подобный анализ можно было бы провести. Требуется оценить и описать эффективность работы с памятью (особенности профиля взаимодействия программы с памятью), эффективность использования заложенного в алгоритм ресурса параллелизма, эффективность использования коммуникационной сети (особенности коммуникационного профиля), эффективность операций ввода/вывода и т.п. Иногда достаточно интегральных характеристик по работе программы, в некоторых случаях полезно показать данные мониторинга нижнего уровня, например, по загрузке процессора, кэш-промахам, интенсивности использования сети Infiniband и т.п. Хорошее представление о работе параллельной MPI-программы дают данные трассировки, полученные, например, с помощью системы Scalasca.

== Результаты прогонов ==

В данном разделе приводятся результаты прогонов данной программной реализации на различных программно-аппаратных платформах.

[[en:Description of implementation properties and structure]]

Структура описания свойств программных реализаций

2024-12-04T09:02:33Z

ASA: Новая страница: «Данный документ содержит описание схемы, по которой предлагается описывать свойства и с...»

Данный документ содержит описание схемы, по которой предлагается описывать свойства и структуру каждой программной реализации.

Общая схема описания программных реализаций имеет следующий вид:

== Ссылки ==
В данном разделе описания реализации алгоритма приводятся ссылки, позволяющие найти данную реализацию и информацию о ней.

=== Локальность данных и вычислений ===
Вопросы локальности данных и вычислений не часто изучаются на практике, но именно локальность определяет эффективность выполнения программ на современных вычислительных платформах <ref>Воеводин В.В., Воеводин Вад.В. Спасительная локальность суперкомпьютеров //Открытые системы. - 2013. - № 9. - С. 12-15.</ref><ref>Воеводин Вад.В., Швец П. Метод покрытий для оценки локальности использования данных в программах // Вестник УГАТУ. — 2014. — Т. 18, № 1(62). — С. 224–229.</ref>. В данном разделе приводятся оценки степени [[глоссарий#Локальность использования данных|''локальности данных'']] и [[глоссарий#Локальность вычислений|вычислений]] в программе, причем рассматривается как [[глоссарий#Временная локальность|''временна́я'']], так и [[глоссарий#Пространственная локальность|''пространственная'']] локальность. Отмечаются позитивные и негативные факты, связанные с локальностью, какие ситуации и при каких условиях могут возникать. Исследуется, как меняется локальность при переходе от последовательной реализации к параллельной. Выделяются ключевые шаблоны взаимодействия программы, реализующей описываемый алгоритм, с памятью. Отмечается возможная взаимосвязь между используемыми конструкциями языков программирования и степенью локальности, которыми обладают результирующие программы.

Отдельно приводятся профили взаимодействия с памятью для вычислительных ядер и ключевых фрагментов. Если из-за большого числа обращений по общему профилю сложно понять реальную специфику взаимодействия программ с памятью, то проводится последовательная детализация и приводится серия профилей более мелкого масштаба.

На рис.3 и рис.4 показаны профили обращения в память для программ, реализующих разложение Холецкого и быстрое преобразование Фурье, по которым хорошо видна разница свойств локальности у данных алгоритмов.

[[file:Cholesky_locality1.jpg|thumb|center|700px|Рис.3 Реализация метода Холецкого. Общий профиль обращений в память]]
[[file:fft 1.PNG|thumb|center|700px|Рис.4 Нерекурсивная реализация БПФ для степеней двойки. Общий профиль обращений в память]]

=== Масштабируемость алгоритма и его реализации ===
Задача данного раздела - показать пределы [[глоссарий#Масштабируемость|''масштабируемости'']] алгоритма на различных платформах. Очень важный раздел. Нужно выделить, описать и оценить влияние точек барьерной синхронизации, глобальных операций, операций сборки/разборки данных, привести оценки или провести исследование [[глоссарий#Сильная масштабируемость|''сильной'']] и [[глоссарий#Слабая масштабируемость|''слабой'']] масштабируемости алгоритма и его реализаций.

Масштабируемость алгоритма определяет свойства самого алгоритма безотносительно конкретных особенностей используемого компьютера. Она показывает, насколько параллельные свойства алгоритма позволяют использовать возможности растущего числа процессорных элементов. Масштабируемость параллельных программ определяется как относительно конкретного компьютера, так и относительно используемой технологии программирования, и в этом случае она показывает, насколько может вырасти реальная производительность данного компьютера на данной программе, записанной с помощью данной технологии программирования, при использовании бóльших вычислительных ресурсов (ядер, процессоров, вычислительных узлов).

Ключевой момент данного раздела заключается в том, чтобы показать ''реальные параметры масштабируемости программы'' для данного алгоритма на различных вычислительных платформах в зависимости от числа процессоров и размера задачи <ref>Антонов А.С., Теплов А.М. О практической сложности понятия масштабируемости параллельных программ// Высокопроизводительные параллельные вычисления на кластерных системах (HPC 2014): Материалы XIV Международной конференции -Пермь: Издательство ПНИПУ, 2014. С. 20-27.</ref>. При этом важно подобрать такое соотношение между числом процессоров и размером задачи, чтобы отразить все характерные точки в поведении параллельной программы, в частности, достижение максимальной производительности, а также тонкие эффекты, возникающие, например, из-за блочной структуры алгоритма или иерархии памяти.

На рис.5. показана масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи. На графике хорошо видны области с большей производительностью, отвечающие уровням кэш-памяти.
[[file:Масштабируемость перемножения матриц производительность.png|thumb|center|700px|Рис.5 Масштабируемость классического алгоритма умножения плотных матриц в зависимости от числа процессоров и размера задачи]]

=== Динамические характеристики и эффективность реализации алгоритма ===
Это объемный раздел AlgoWiki, поскольку оценка эффективности реализации алгоритма требует комплексного подхода <ref>Никитенко Д.А. Комплексный анализ производительности суперкомпьютерных систем, основанный на данных системного мониторинга // Вычислительные методы и программирование. 2014. 15. 85–97.</ref>, предполагающего аккуратный анализ всех этапов от архитектуры компьютера до самого алгоритма. Основная задача данного раздела заключается в том, чтобы оценить степень эффективности параллельных программ, реализующих данный алгоритм на различных платформах, в зависимости от числа процессоров и размера задачи. Эффективность в данном разделе понимается широко: это и [[глоссарий#Эффективность распараллеливания|''эффективность распараллеливания'']] программы, это и [[глоссарий#Эффективность реализации|''эффективность реализации'']] программ по отношению к пиковым показателям работы вычислительных систем.

Помимо собственно показателей эффективности, нужно описать и все основные причины, из-за которых эффективность работы параллельной программы на конкретной вычислительной платформе не удается сделать выше. Это не самая простая задача, поскольку на данный момент нет общепринятой методики и соответствующего инструментария, с помощью которых подобный анализ можно было бы провести. Требуется оценить и описать эффективность работы с памятью (особенности профиля взаимодействия программы с памятью), эффективность использования заложенного в алгоритм ресурса параллелизма, эффективность использования коммуникационной сети (особенности коммуникационного профиля), эффективность операций ввода/вывода и т.п. Иногда достаточно интегральных характеристик по работе программы, в некоторых случаях полезно показать данные мониторинга нижнего уровня, например, по загрузке процессора, кэш-промахам, интенсивности использования сети Infiniband и т.п. Хорошее представление о работе параллельной MPI-программы дают данные трассировки, полученные, например, с помощью системы Scalasca.

=== Динамические характеристики и эффективность реализации алгоритма ===

Это объемный раздел AlgoWiki, поскольку оценка эффективности реализации алгоритма требует комплексного подхода <ref>Никитенко Д.А. Комплексный анализ производительности суперкомпьютерных систем, основанный на данных системного мониторинга // Вычислительные методы и программирование. 2014. 15. 85–97.</ref>, предполагающего аккуратный анализ всех этапов от архитектуры компьютера до самого алгоритма. Основная задача данного раздела заключается в том, чтобы оценить степень эффективности параллельных программ, реализующих данный алгоритм на различных платформах, в зависимости от числа процессоров и размера задачи. Эффективность в данном разделе понимается широко: это и [[глоссарий#Эффективность распараллеливания|''эффективность распараллеливания'']] программы, это и [[глоссарий#Эффективность реализации|''эффективность реализации'']] программ по отношению к пиковым показателям работы вычислительных систем.

Помимо собственно показателей эффективности, нужно описать и все основные причины, из-за которых эффективность работы параллельной программы на конкретной вычислительной платформе не удается сделать выше. Это не самая простая задача, поскольку на данный момент нет общепринятой методики и соответствующего инструментария, с помощью которых подобный анализ можно было бы провести. Требуется оценить и описать эффективность работы с памятью (особенности профиля взаимодействия программы с памятью), эффективность использования заложенного в алгоритм ресурса параллелизма, эффективность использования коммуникационной сети (особенности коммуникационного профиля), эффективность операций ввода/вывода и т.п. Иногда достаточно интегральных характеристик по работе программы, в некоторых случаях полезно показать данные мониторинга нижнего уровня, например, по загрузке процессора, кэш-промахам, интенсивности использования сети Infiniband и т.п. Хорошее представление о работе параллельной MPI-программы дают данные трассировки, полученные, например, с помощью системы Scalasca.

=== Результаты прогонов ===

В данном разделе приводятся результаты прогонов данной программной реализации на различных программно-аппаратных платформах.

[[en:Description of implementation properties and structure]]

Шаблон:Main page/Work

2024-12-04T08:54:17Z

ASA:

* [[Структура описания свойств алгоритмов]]
* [[Структура описания свойств программных реализаций]]
* [[Руководства|Руководства по заполнению разделов описания]]
* [[Готовность статей]]
* [[Глоссарий]]
* [[Алговики:Справка|Помощь]]

Участник:GSA

2024-07-03T11:13:33Z

ASA: Создана пустая страница

Cholesky decomposition, scalability

2022-12-05T09:22:03Z

ASA:

{{level-i}}

Основные авторы описания: [[Участник:Teplov|А.М.Теплов]] (раздел [[#Масштабируемость алгоритма и его реализации|3]]).

= Ссылки =

[https://gitlab.srcc.msu.ru/alex-teplov/Scalability/tree/master/cholesky-decomposition-master Исследованная параллельная реализация на языке C].

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==

Исследование проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Проведём исследование масштабируемости параллельной реализации разложения Холецкого согласно [[Scalability methodology|методике]].

Набор и границы значений изменяемых [[Глоссарий#Параметры запуска|параметров запуска]] реализации алгоритма:

* число процессоров [4 : 256] с шагом 4;
* размер матрицы [1024 : 5120].

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 0,11%;
* максимальная эффективность реализации 2,65%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации разложения Холецкого в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость Параллельной реализации метода Холецкого Производительность3.png|thumb|center|700px|Рисунок 1. Параллельная реализация метода Холецкого. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[file:Холецкий масштабируемость эффективность2.png|thumb|center|700px|Рисунок 2. Параллельная реализация метода Холецкого. Изменение эффективности в зависимости от числа процессоров и размера матрицы.]]

Построим оценки масштабируемости выбранной реализации разложения Холецкого:
* По числу процессов: -0,000593. При увеличении числа процессов эффективность на рассмотренной области изменений параметров запуска уменьшается, однако в целом уменьшение не очень быстрое. Малая интенсивность изменения объясняется крайне низкой общей эффективностью работы приложения с максимумом в 2,65%, и значение эффективности на рассмотренной области значений быстро доходит до десятых долей процента. Это свидетельствует о том, что на большей части области значений нет интенсивного снижения эффективности. Это объясняется также тем, что с ростом [[Глоссарий#Вычислительная сложность|вычислительной сложности]] падение эффективности становится не таким быстрым. Уменьшение эффективности на рассмотренной области работы параллельной программы объясняется быстрым ростом накладных расходов на организацию параллельного выполнения. С ростом вычислительной сложности задачи эффективность снижается так же быстро, но при больших значениях числа процессов. Это подтверждает предположение о том, что накладные расходы начинают сильно превалировать над вычислениями.
* По размеру задачи: 0,06017. При увеличении размера задачи эффективность возрастает. Эффективность возрастает тем быстрее, чем большее число процессов используется для выполнения. Это подтверждает предположение о том, что размер задачи сильно влияет на эффективность выполнения приложения. Оценка показывает, что с ростом размера задачи эффективность на рассмотренной области значений параметров запуска сильно увеличивается. Также, учитывая разницу максимальной и минимальной эффективности в 2,5%, можно сделать вывод, что рост эффективности при увеличении размера задачи наблюдается на большей части рассмотренной области значений.
* По двум направлениям: 0,000403. При рассмотрении увеличения как вычислительной сложности, так и числа процессов на всей рассмотренной области значений эффективность увеличивается, однако скорость увеличения эффективности небольшая. В совокупности с тем фактом, что разница между максимальной и минимальной эффективностью на рассмотренной области значений параметров небольшая, эффективность с увеличением масштабов возрастает, но медленно и с небольшими перепадами.

= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

= Литература =

<references />

[[Категория:Статьи в работе]]

[[En:Cholesky decomposition, scalability]]

PageRank, VGL

2022-11-28T12:20:44Z

ASA: Новая страница: «{{level-i}} Основные авторы описания: = Ссылки = https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/pr/pr...»

{{level-i}}

Основные авторы описания:

= Ссылки =

https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/pr/pr.hpp (функция vgl_page_rank).

Описание библиотеки VGL: https://vgl.parallel.ru/documentation.html

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:PageRank, VGL]]

HITS, VGL

2022-11-28T12:13:44Z

ASA: Новая страница: «{{level-i}} Основные авторы описания: = Ссылки = https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/hits/...»

{{level-i}}

Основные авторы описания:

= Ссылки =

https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/hits/hits.hpp (функция vgl_hits).

Описание библиотеки VGL: https://vgl.parallel.ru/documentation.html

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:HITS, VGL]]

Dijkstra, VGL, pull

2022-11-28T06:39:02Z

ASA: Новая страница: «{{level-i}} Основные авторы описания: . = Ссылки = https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/sssp...»

{{level-i}}

Основные авторы описания: .

= Ссылки =

https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/sssp/shortest_paths.hpp (функция <code>vgl_dijkstra_all_active_pull</code>).

Описание библиотеки VGL: https://vgl.parallel.ru/documentation.html

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:Dijkstra, VGL, pull]]

Dijkstra, VGL, push

2022-11-28T06:37:27Z

ASA:

{{level-i}}

Основные авторы описания: .

= Ссылки =

https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/sssp/shortest_paths.hpp (функция <code>vgl_dijkstra_all_active_push</code>).

Описание библиотеки VGL: https://vgl.parallel.ru/documentation.html

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:Dijkstra, VGL, push]]

Dijkstra, VGL, push

2022-11-28T06:34:53Z

ASA:

{{level-i}}

Основные авторы описания: .

= Ссылки =

[https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/sssp/shortest_paths.hpp]https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/sssp/shortest_paths.hpp (функция <code>vgl_dijkstra_all_active_push</code>).

Описание библиотеки VGL: https://vgl.parallel.ru/documentation.html

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:Dijkstra, VGL, push]]

Dijkstra, VGL, push

2022-11-28T06:30:49Z

ASA: Новая страница: «{{level-i}} Основные авторы описания: . = Ссылки = [https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/sss...»

{{level-i}}

Основные авторы описания: .

= Ссылки =

[https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/sssp/shortest_paths.hpp] (функция <code>vgl_dijkstra_all_active_push</code>).

Описание библиотеки VGL: https://vgl.parallel.ru/documentation.html

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:Dijkstra, VGL, push]]

BFS, VGL

2022-11-25T13:26:12Z

ASA: Новая страница: «{{level-i}} Основные авторы описания: = Ссылки = https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/bfs/b...»

{{level-i}}

Основные авторы описания:

= Ссылки =

https://github.com/afanasyev-ilya/VectorGraphLibrary/blob/master/algorithms/bfs/bfs.hpp (первая функция BFS::fast_vgl_top_down).

Описание библиотеки VGL: https://vgl.parallel.ru/documentation.html

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:BFS, VGL]]

Метод встречи посередине

2022-07-21T13:24:55Z

ASA:

Автор описания (разделы 1, 2.4, 2.7):
[https://algowiki-project.org/ru/Участник:АлександраА.В.Батарина]

{{algorithm
| name = Метод встречи посередине
| serial_complexity = <math>O(\sqrt n\log(n))</math>
| pf_height = <math>O(1)</math>
| pf_width = <math>O(n)</math>
| input_data = <math>O(\log(n))</math>
| output_data = <math>\log(n)</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Криптоанализом назвают науку восстановления (дешифрования) открытого (нешифрованного) текста без доступа к ключу. Попытка криптоанализа называется "атакой".

Метод "Встреча посередине" криптоанализа блочных шифров был впервые предложен в 1977 году Уитфилдом Диффи и Мартином Хеллманом <ref>Diffie Whitfield, Hellman Martin E. ''Exhaustive Cryptanalysis of the NBS Data Encryption Standard.'' - Journal Computer vol.10 pp.74–84 - June 1977</ref>. Встреча посередине используется для ускорения перебора ключей шифра за счёт увеличения требуемой памяти. Метод применим в случае каскадного построения сложного шифра из нескольких простых, другими словами, в случае последовательного применения шифрующих преобразований на разных ключах к блокам открытого текста.

В качестве примера шифра, поддающегося атаке "встреча посередине" можно привести криптоалгоритм 2DES, являющийся модификацией шифра DES. В 2DES открытый текст шифруется дважды алгоритмом DES на двух разных 56-битных ключах. Однако из-за атаки "встреча посередине" сложность перебора двойного ключа (112 бит) шифра 2DES составляет <math>2^{57}</math> вместо ожидаемых <math>2^{112}</math>.

=== Математическое описание алгоритма ===

'''Исходные данные:''' открытый текст <math>x</math>, шифртекст <math>y</math>.

Алгоритм зашифрования — композиция двух преобразований: <math>T_1(x,k_1)</math> и <math>T_2(x,k_2)</math>, т.е. <math>y=T_2(T_1(x,k_1),k_2)</math>.

Алгоритм расшифрования: <math>y=T_1^{-1}(T_2^{-1}(x,k_2),k_1)</math>.

'''Вычисляемые данные:''' ключи шифрования <math>k_1 \in K_1</math>, <math>k_2 \in K_2</math>, где <math>K_1, K_2</math> — множества возможных ключей.

Трудоёмкость полного перебора всех возможных пар <math>k_1,k_2</math> составляет в среднем <math>|K_1||K_2|/2</math>, а в худшем случае <math>|K_1||K_2|</math>. Однако используя дополнительную память, можно сократить перебор.

Предположим, что открытый текст <math>x</math> и шифртекст <math>y</math> однозначно определяют ключи <math>k_1,k_2</math>. Составим две таблицы:

<math>
\begin{align}
z_1 & =T_1(x,k_1^1) & z_1^′ &=T_2^{-1}(x,k_2^1)\\
z_2 & =T_1(x,k_1^2) & z_2^′ & =T_2^{-1}(x,k_2^2)\\
& ......... & & ......... \\
z_{|K_1|} & =T_1(x,k_1^{|K_1|}) & z_{|K_1|}^′ & =T_2^{-1}(x,k_2^{|K_1|})
\end{align}
</math>

Для всех <math>k_1^i \in K_1</math>, <math>k_2^j \in K_2</math>. Далее таблицы объединяются и сортируются по значениям <math>z_i,z_j^′</math>. Индексы <math>i,j</math>, при которых <math>z_i=z_j^′</math>, однозначно определяют искомую пару ключей <math>k_1=k_1^i,k_2=k_2^j</math>. Для нахождения такой пары достаточно просмотреть отсортированную таблицу один раз.

Если же пара открытый текст/шифртекст определяет ключ не единственном образом, то выходом алгоритма будет некоторое множество пар <math>k_1,k_2</math>, одна из которых является истинным ключом. Для выбора истинного ключа достаточно проверить ключи из полученного множества на других парах открытый текст/шифртекст.

==== Оптимизации ====

1. От генерации второй таблицы со значениями <math>z_j^′</math> можно отказаться, перебирая ключи <math>k_2^j</math> до того момента, когда значение <math>z_j^′</math> совпадёт с одним из значений <math>z_i</math>. В таком случае опробование ключей <math>k_2^j</math> в среднем сократится вдвое. Также вдвое сократится объём используемой памяти. Для нахождения совпадающего значения в отсортированном массиве можно применить бинарный поиск.

2. Вместо сортировки таблицы со значениями <math>z_i</math> и последующего бинарного поиска можно использовать хэш-таблицу.

=== Вычислительное ядро алгоритма ===
В случае использования хэш-таблицы достаточно большого размера основную сложность алгоритма составляет опробование ключей <math>k_1,k_2</math>.
Одним из самых трудоёмких шагов также оказывается сортировка таблицы.

=== Макроструктура алгоритма ===

Как видно из описания, атака "встреча посередине" использует (или может использовать в качестве оптимизации) следующие алгоритмы:

1. Алгоритм зашифрования/расшифрования

2. Алгоритм сортировки

3. Алгоритмы поиска, вставки в хэш-таблицу

=== Схема реализации последовательного алгоритма ===

Далее приводится последовательность действий для варианта алгоритма с генерацией одной таблицы значений <math>z_i</math>.

1. Вычислить таблицу <math>z_i</math>, записывая значения в порядке вычисления или используя хэш-таблицу

2. В случае записи значений в порядке вычисления отсортировать массив

3. Опробовать ключи <math>k_2^j</math>, выполняя поиск совпадения с таблицей значений <math>z_j^′</math>. Для нахождения совпадения использовать поиск по хэш-таблице (если она есть) или бинарный поиск

=== Последовательная сложность алгоритма ===
Всюду далее считаем, что алгоритм не прекращает работу при нахождении первого совпадения, а ищет все совпадения.

1. Сложность вычисления таблиц значений <math>z_i,z_j^′</math> составит <math>O(|K_1|+|K_2|)</math> операций опробования

2. Объединение таблиц и их сортировка будет иметь сложность <math>O((|K_1|+|K_2|)\log(|K_1|+|K_2|))</math> (например, при сортировке слиянием).

3. Сложность бинарного поиска в отсортированном массиве — <math>O(\log_2(|K_1|))</math> для каждого поиска

4. Сложность поиска в достаточно большой хэш-таблице составит <math>O(1)</math> для каждого поиска

Итого: асимптотическая сложность алгоритма:

1. С генерацией двух таблиц — <math>O(|K_1|+|K_2|) + O((|K_1|+|K_2|)\log(|K_1|+|K_2|)) + O(|K_1|+|K_2|)=O((|K_1|+|K_2|)\log(|K_1|+|K_2|))</math>

2. C генерацией одной таблицы, сортировкой и бинарным поиском — <math>O(|K_1|) + O((|K_1|)\log(|K_1|)) + O(|K_2|\log_2(|K_1|))=O(\max(|K_1|,|K_2|)\log(|K_1|))</math>

3. C генерацией одной (достаточно большой) хэш-таблицы — <math>O(|K_1|) + O(|K_2|)=O(|K_1|+|K_2|)</math>

Пусть <math>n</math> - количество всевозможных пар <math>k_1,k_2</math> и пусть <math>|K_1|=|K_2|</math>. В этом случае <math>|K_1|=|K_2|=\sqrt n</math>.

Тогда сложность алгоритма в первых двух пунктах составляет <math>O(\sqrt n\log(n))</math>, в третьем — <math>O(\sqrt n)</math>.

=== Информационный граф ===

Опишем информационный граф алгоритма. На вход подаётся открытый (Open) и закрытый (Close), т.е. зашифрованный, текст. Далее открытый текст шифруется (Enc) на ключах <math>k_1^i</math>, а зашифрованный расшифровывается (Dec) на ключах <math>k_2^j</math>. Далее полученные криптограммы сравниваются (Cmp) и все ключи, на которых они совпали, являются выходом алгоритма.

[[file:meet.png|thumb|center|900px|Рисунок 1. Граф алгоритма c отображением входных и выходных данных. Open — открытый текст, Close — шифртекст, Enc — операция зашифрования, Dec — операция расшифрования, Cmp — операция сравнения, Keys — вычисленные ключи]]

=== Ресурс параллелизма алгоритма ===

Как видно из информационного графа, для реализации атаки "встреча посередине" в параллельном варианте потребуются выполнение следующих двух ярусов (в предположении, что <math>|K_1|=|K_2|</math>):

1. <math>\sqrt n</math> зашифрований и столько же расшифрований

2. <math>n</math> сравнений

Таким образом, высота ЯПФ составляет 2, ширина - <math>n</math>.

=== Входные и выходные данные алгоритма ===

'''Вход:'''
На вход подаётся открытый текст <math>x</math> и шифртекст <math>y</math>, а также алгоритм зашифрования/расшифрования. В случае блочного шифра открытым текстом и шифртекстом является последовательность блоков. Для атаки "встреча посередине", как правило, берётся один блок для максимального ускорения операций зашифрования и расшифрования.

'''Выход:'''
Результатом работы алгоритма является множество пар <math>k_1^i,k_2^j</math>, для которых нашлись совпадения. Только одна из пар является настоящим ключом. Чтобы отсеять лишние, необходимо проверить все пары на блоках открытого и шифрованного текста, которые в алгоритме не использовались.

=== Свойства алгоритма ===
Соотношением последовательной и параллельной сложности алгоритма является <math>O(\sqrt n\log(n))</math>.

Будем считать, что размер входных данных (открытый текст и шифртекст) совпадает с размером ключа (на практике это сравнимые величины), а сортировка слиянием делит массивы пополам. Тогда вычислительная мощность алгоритма — <math>O(\sqrt n)</math>.

Дуги информационного графа, исходящие из вершин зашифрования и расшифрования, образуют пучки мощности <math>\sqrt n</math>, т.е. из каждой такой вершины выходит <math>\sqrt n</math> дуг. Длинных дуг в алгоритме нет. В случае поиска всех пар ключей с совпадающими криптограммами алгоритм полностью детерминирован.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Статьи в работе]]

[[en:Meet-in-the-middle attack]]

Meet-in-the-middle attack, implementation3

2022-07-21T13:22:47Z

ASA: Новая страница: «{{level-i}} Основные авторы описания: [https://algowiki-project.org/ru/Участник:АлександраА.В.Батарина]....»

{{level-i}}

Основные авторы описания: [https://algowiki-project.org/ru/Участник:АлександраА.В.Батарина].

= Ссылки =

В свободном доступе существует код для метода "встречи посередине" с использованием шифрования 2DES на [https://github.com/le1ca/class-resources/blob/master/ddes/ddes.py питоне].

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:Meet-in-the-middle attack, implementation3]]

Meet-in-the-middle attack, implementation2

2022-07-21T13:20:15Z

{{level-i}}

Основные авторы описания: [https://algowiki-project.org/ru/Участник:АлександраА.В.Батарина].

= Ссылки =

В свободном доступе существует код для метода "встречи посередине" с использованием шифрования Blowfish и хэш-таблиц на [https://gist.github.com/dchest/1062437 C].

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:Meet-in-the-middle attack, implementation2]]

Meet-in-the-middle attack, implementation1

2022-07-21T13:17:48Z

{{level-i}}

Основные авторы описания: [https://algowiki-project.org/ru/Участник:АлександраА.В.Батарина].

= Ссылки =

Одна из реализаций атаки "встреча посередине" с использованием хэш-таблицы представлена в свободном доступе по ссылке [https://gist.github.com/dchest/1062437 github].

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==
= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

[[Категория:Статьи в работе]]

[[En:Meet-in-the-middle attack, implementation1]]

Meet-in-the-middle attack, scalability

2022-07-21T13:14:38Z

{{level-i}}

Основные авторы описания: [https://algowiki-project.org/ru/Участник:АлександраА.В.Батарина].

= Ссылки =

[https://github.com/AlBatarina/Super2016/blob/master/meet_in_the_middle/meet.c Исследованная параллельная реализация на языке C].

= Локальность данных и вычислений =
== Локальность реализации алгоритма ==
=== Структура обращений в память и качественная оценка локальности ===
=== Количественная оценка локальности ===
= Масштабируемость алгоритма и его реализации =
== Масштабируемость алгоритма ==
== Масштабируемость реализации алгоритма ==

Исследование масштабируемости реализации алгоритма проводилось на суперкомпьютере "Ломоносов"<ref name="Lom">Воеводин Вл., Жуматий С., Соболев С., Антонов А., Брызгалов П., Никитенко Д., Стефанов К., Воеводин Вад. Практика суперкомпьютера «Ломоносов» // Открытые системы, 2012, N 7, С. 36-39.</ref> [http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета]. Изменяемые параметры запуска:
* Размер ключа – от 8 до 20 бит с шагом 1
* Число ядер – от 1 до 8 (значения являются степенью числа 2)
Ниже представлен график зависимости [[Глоссарий#Производительность|производительности]] от числа ядер и размера ключа (размер задачи – экспоненциальная функция от размера ключа). Для измерения производительности в качестве базовой операции используется операция опробования ключа и время в секундах. Количество арифметических операций, содержащихся в операции опробования, может быть разным в зависимости от используемого алгоритма шифрования.
[[File:Масштабируемость.jpg|thumb|center|900px|Рисунок 1. Масштабируемость реализации алгоритма]]

Как видно из графика, производительность почти не изменяется в зависимости от размера задачи и возрастает в зависимости от числа ядер. Росту производительности способствует то, что алгоритм содержит большое количество независимых операций опробования ключа, синхронизация между параллельно выполняющимися опробованиями не требуется.

= Динамические характеристики и эффективность реализации алгоритма =
= Результаты прогонов =

= Литература =

<references />

[[Категория:Статьи в работе]]

[[En:Meet-in-the-middle attack, scalability]]

Уравнение Пуассона, решение дискретным преобразованием Фурье

2022-07-21T12:55:44Z

ASA:

{{level-a}}

Основные авторы описания: [[Участник:Виктор Степаненко|В.М.Степаненко]], [[Участник:Evgeny Mortikov|Е.В.Мортиков]].

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
Уравнение Пуассона для многомерного пространства имеет вид:

<math>
\sum_{i=1}^{N}\frac{\partial^2 \phi}{\partial x_i^2}=f,~\mathbf{x}\in D,
</math>

где <math>D \in \mathbb{R}^N</math> - область определения решения <math>\phi(\mathbf{x})</math>, <math>\mathbf{x}=(x_1,...,x_N)^T</math> - вектор независимых переменных. Уравнение Пуассона дополняется граничными условиями:

<math>
B(\phi)=F, \mathbf{x} \in \Gamma(D),
</math>

где <math>\Gamma(D)</math> - граница области <math>D</math>, a <math>B(\phi)</math> - оператор, определяющий граничные условия. <math>B(\phi)=\phi</math> соответствует граничным условиям Дирихле, <math>B(\phi)=\partial\phi/\partial n</math> (<math>\mathbf{n}</math> - внешняя нормаль к границе <math>\Gamma(D)</math>) - условиям Неймана. Иногда задают также смешанное граничное условие: <math>B(\phi)=C\phi+\partial\phi/\partial n</math> (<math>C</math> - константа). Встречаются также так называемые "периодические граничные условия", при которых задача ставится для бесконечной области, но предполагается периодичность решения по подмножеству переменных из <math>\mathbf{x}</math>.

Уравнение Пуассона возникает во многих задачах математической физики, например, в электростатике (в этом случае <math>\phi</math> - потенциал электрической силы) и гидродинамике (<math>\phi</math> - давление жидкости или газа); при этом <math>N=2,3</math> для плоской и трехмерной задач, соответственно.

Решение уравнения Пуассона для произвольной правой части и неоднородных граничных условий в аналитическом виде неизвестно, поэтому в большинстве приложений оно находится численно. Наиболее распространенная дискретизация этого уравнения имеет вид

<math>
\sum_{i=1}^{N}\frac{\phi_{k_1,...,k_i+1,...,k_N}-2\phi_{k_1,...,k_i,...,k_N}+\phi_{k_1,...,k_i-1,...,k_N}}{\Delta x_i^2}=f_{k_1,...,k_N},~(k_1,...,k_N) \in D_N.
</math>

Здесь вторые производные заменены конечно-разностной аппроксимацией второго порядка точности (образуя т.н. схему "крест" для плоской задачи), а решение ищется на дискретном множестве точек <math>N</math>-мерного пространства, <math>D_N</math>. Конечными разностями аппроксимируются при этом также граничные условия.

=== Математическое описание алгоритма ===
В настоящей статье мы рассмотрим конечно-разностную схему для наиболее часто встречающейся задачи решения уравнения Пуассона в трехмерном пространстве:

<math>
\frac{\phi_{i+1,j,k}-2\phi_{i,j,k}+\phi_{i-1,j,k}}{ \Delta x^2}\,+\,
\frac{\phi_{i,j+1,k}-2\phi_{i,j,k}+\phi_{i,j-1,k}}{ \Delta y^2}\,+\,
\frac{\phi_{i,j,k+1}-2\phi_{i,j,k}+\phi_{i,j,k-1}}{ \Delta z^2} = f_{i,j,k},~(i,j,k) \in D_h,
</math>

где <math>D_h=\{0:N_x-1\}\times\{0:N_y-1\}\times\{0:N_z-1\} </math> - параллелепипед в сеточной области. В качестве граничных условий для простоты примем так называемые троякопериодические граничные условия

<math>
\begin{align}
\phi_{0,j,k} &= \phi_{N_x,j,k},\\
\phi_{i,0,k} &= \phi_{i,N_y,k},\\
\phi_{i,j,0} &= \phi_{i,j,N_z}.
\end{align}
</math>

Периодические граничные условия удовлетворяются "автоматически", если представить решение в виде стандартного дискретного обратного преобразования Фурье:

<math>
\phi_{i,j,k}=\frac{1}{N_x N_y N_z}\sum_{l=0}^{N_x-1}\sum_{m=0}^{N_y-1}\sum_{n=0}^{N_z-1}\Phi_{l,m,n}e^{2\pi \overline{i}
\left(\frac{il}{N_x}+\frac{jm}{N_y}+\frac{kn}{N_z}\right)}.
</math>

Здесь <math>\overline{i}=\sqrt{-1}</math>. Аналогичное разложение применяется также к правой части уравнения, <math>f_{i,j,k}</math>. Решение дискретного уравнения Пуассона преобразованием Фурье удобно тем, что базисные функции разложения Фурье являются собственными функциями дискретного оператора Лапласа. А именно, подставляя разложение Фурье неизвестной функции <math>\phi_{i,j,k}</math> и правой части в исходное уравнение, получаем:

<math>
\Phi_{l,m,n}=-\frac{F_{l,m,n}}{4\left[\sin^2\left(\frac{\pi l}{N_x}\right) + \sin^2\left(\frac{\pi m}{N_y}\right) + \sin^2\left(\frac{\pi n}{N_z}\right) \right]},
</math>

где <math>F_{l,m,n}</math> - преобразование Фурье правой части. Отсюда очевиден алгоритм решения уравнения: сначала правая часть уравнения разлагается в ряд Фурье, затем по приведенной выше формуле вычисляются коэффициенты Фурье решения и, наконец, решение восстанавливается обратным преобразованием Фурье.

=== Вычислительное ядро алгоритма ===
Вычислительным ядром алгоритма является одномерное преобразование Фурье. В самом деле, обратное дискретное преобразование Фурье может быть записано как

<math>
\phi_{i,j,k}=\frac{1}{N_x} \sum_{l=0}^{N_x-1} \left[ e^{2\pi \overline{i}\left(\frac{il}{N_x}\right)}
\frac{1}{N_y} \sum_{m=0}^{N_y-1} \left[ e^{2\pi \overline{i}\left(\frac{jm}{N_y}\right)}
\frac{1}{N_z} \sum_{n=0}^{N_z-1} \Phi_{l,m,n}e^{2\pi \overline{i} \left(\frac{kn}{N_z}\right)}\right]\right],
</math>

откуда видно, что трехмерное преобразование Фурье сводится в последовательности трех одномерных. Для вычисления одномерного преобразования широко используется эффективный алгоритм быстрого преобразования Фурье (БПФ, FFT, Fast Fourier Transform)<ref>Марчук Г.И. Методы вычислительной математики, М., 1977, 456с.</ref>.

=== Макроструктура алгоритма ===
Из приведенного выше ясно, что основной макрооперацией алгоритма решения уравнения Пуассона является одномерное быстрое преобразование Фурье. В дальнейшем будем обозначать ее <math>\text{FFT}_i,~i=x,y,z</math> по каждому из трех направлений, соответственно, а обратное преобразование Фурье - <math>\text{IFFT}_i,~i=x,y,z</math>.

=== Схема реализации последовательного алгоритма ===
Введем для краткости следующие обозначения сеточных функций:
<math>\phi_h=\{\phi_{i,j,k},~(i,j,k) \in D_h\},~F_h=\{F_{l,m,n},~l=0,...,N_x-1,~m=0,...,N_y-1,~n=0,...,N_z-1\}</math> и аналогично <math>f_h</math> и <math>\Phi_h</math>.
Тогда алгоритм запишется следующим образом:
# Вычисление <math>\text{FFT}_x(f_h)</math>
# Вычисление <math>\text{FFT}_y(\text{FFT}_x(f_h))</math>
# Вычисление <math>\text{FFT}_z(\text{FFT}_y(\text{FFT}_x(f_h)))=F_h</math>
# Расчет <math>\Phi_h</math> по <math>F_h</math>
# Вычисление <math>\text{IFFT}_x(\Phi_h)</math>
# Вычисление <math>\text{IFFT}_y(\text{IFFT}_x(\Phi_h))</math>
# Вычисление <math>\text{IFFT}_z(\text{IFFT}_y(\text{IFFT}_x(\Phi_h)))=\phi_h</math>
Примечательно, что весь описанный алгоритм реализуется с помощью одного трехмерного массива <math>N_x \times N_y \times N_z</math>, поскольку результат каждого одномерного преобразования Фурье можно записать во входной массив и затем использовать его на входе для следующего преобразования, а операция (4) - это поэлементное изменение массива.

=== Последовательная сложность алгоритма ===

Рассмотрим случай куба, <math>N_x=N_y=N_z=N=2^k</math>. Тогда сложность одномерного БПФ по каждому из направлений составляет (по порядку) <math>N(\text{log}_2 N)</math> операций. Поскольку одномерное БПФ на каждом из этапов алгоритма, кроме четвертого, осуществляется <math>N^2</math> раз, а количество операций на этапе 4 составляет (снова по порядку) <math>N^3</math>, то общее количество арифметических действий составляет <math>N^3(6\text{log}_2 N+1)</math>.

=== Информационный граф ===
Представим информационный граф алгоритма для этапов 1-4, поскольку этапы 5-7 реализуются аналогично этапам 1-3.

[[File:pois3d_graph.png|center|thumb|600px|Зеленые прямоугольники обозначают одномерные сечения входного трехмерного массива. Красным кругом обозначена операция одномерного БПФ, например <math>FFT_{x11}</math> означает БПФ вдоль оси x при <math>j=1,~k=1</math>. Желтыми кругами представлены поэлементные преобразования массива для получения коэффициентов Фурье решения (этап 4 алгоритма), например <math>L_{2N,1,...,N}</math> означает преобразование элементов <math>i=2,~j=N,~k=1,...,N</math>. Для удобства целочисленные индексы нумеруются числами <math>1,...,N</math> вместо <math>0,...,N-1</math>]]

Информационная зависимость между ярусами графа заключается в том, что одномерное БПФ зависит от результата произведенного ранее БПФ по перпендикулярному направлению (т.е. с предыдущего яруса), только если обрабатываемые этими БПФ одномерные сечения массива пересекаются. Следовательно, каждое из БПФ по второй координате, <math>FFT_{i,y,k},~i=1,...,N</math>, зависит от результатов каждого из БПФ по первой координате <math>FFT_{x,j,k},~j=1,...,N</math>, и только от них, если эти преобразования производятся в одной плоскости <math>k=K</math>. Соответственно, каждое БПФ по третьей координате <math>FFT_{i,j,z},~j=1,...,N</math>, зависит от каждого БПФ по второй координате <math>FFT_{i,y,k},~k=1,...,N</math>, в одной плоскости <math>i=I</math>.

=== Ресурс параллелизма алгоритма ===
В описанном выше алгоритме можно выделить, по меньшей мере, два уровня параллелизма. Во-первых, вычисление каждого одномерного БПФ может быть распределено между вычислительными ядрами. И, во-вторых, на каждом этапе алгоритма (ярусе графа) одномерные БПФ независимы друг от друга и также могут быть выполнены паралельно (координатный параллелизм). Для сопоставления параллельной (при координатном распараллеливании) и последовательной сложности алгоритма определим в качестве основных операций одномерное БПФ и поэлементный перерасчет массива (этап 4 алгоритма). Тогда последовательный алгоритм будет состоять из последовательно выполняемых <math>6N^2</math> одномерных БПФ и <math>N^3</math> операций над отдельными элементами массива, параллельный же алгоритм будет выполнен за 6 шагов одномерного БПФ и 1 операцию поэлементного преобразования. Если же выразить введенные макрооперации через элементарные арифметические операции, то получим, что сложность последовательного алгоритма - <math>6N^3(\text{log}_2N)+N^3</math>, а сложность параллельного - <math>6N(\text{log}_2N)+1</math>. Тогда при больших <math>N</math> отношение последовательной сложности к параллельной становится равным <math>\propto N^2(6\text{log}_2N \text{ln}2+\text{ln}2+5)</math>.

=== Входные и выходные данные алгоритма ===
В качестве входных данных выступает трехмерный массив <math>N \times N \times N</math> правой части уравнения. Выходной массив - трехмерный массив решения той же размерности.

=== Свойства алгоритма ===

Как было показано выше, при неограниченном количестве вычислительных устройств и больших объемах входных данных вычислительная сложность параллельного алгоритма убывает быстрее, чем <math>N^2</math>.

Поскольку объем входных данных составляет <math>N^3</math>, вычислительная мощность последовательного алгоритма становится равной <math>6\text{log}_2N+1</math>, а параллельного алгоритма - <math>(6N\text{log}_2N+1)/N^3 \propto N^{-2}</math> (при больших <math>N</math>).

== Программная реализация алгоритма ==
=== Особенности реализации последовательного алгоритма ===

Приведем пример реализации алгоритма на языке Фортран-90 с применением библиотеки [http://www.fftw.org/ FFTW].
В этом случае трехмерное прямое преобразование Фурье правой части уравнения реализуется как последовательность трех одномерных (этапы 1-3 в п.1.5).
Полученные коэффициенты Фурье делятся на собственное число оператора Лапласа (этап 4 в п.1.5) (см. комментарии в коде):
<source lang="fortran">
! x - transform
do k = 1, k1
do j = 1, j1
workfor_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))
call FFTW_EXECUTE_DFT(planfor_x,workfor_x,workfor_x)
f_r(1:i1,j,k) = real(real (workfor_x(1:i1)) )
f_i(1:i1,j,k) = real(aimag(workfor_x(1:i1)) )
enddo
enddo
! y - transform
do k = 1, k1
do i = 1, i1
workfor_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))
call FFTW_EXECUTE_DFT(planfor_y,workfor_y,workfor_y)
f_r(i,1:j1,k) = real(real (workfor_y(1:j1)) )
f_i(i,1:j1,k) = real(aimag(workfor_y(1:j1)) )
enddo
enddo
! z - transform and dividing by eigenvalue
do j = 1, j1
do i = 1, i1
workfor_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))
call FFTW_EXECUTE_DFT(planfor_z,workfor_z,workfor_z)
f_r(i,j,1:k1) = real(real (workfor_z(1:k1)) )
f_i(i,j,1:k1) = real(aimag(workfor_z(1:k1)) )
! Dividing by eigenvalue of Laplace operator
sinx = sin((i-1) * Pi / i1)^2 * 4
siny = sin((j-1) * Pi / j1)^2 * 4
do k = 1, k1
sinz = sin((k-1) * Pi / k1)^2 * 4
f_r(i,j,1:k1) = f_r(i,j,1:k1)/(sinx + siny + sinz)
f_i(i,j,1:k1) = f_i(i,j,1:k1)/(sinx + siny + sinz)
enddo
enddo
enddo
</source>
Как только коэффициенты Фурье решения найдены, аналогично производится обратное преобразование Фурье:

<source lang="fortran">
! inverse x - transform
do k = 1, k1
do j = 1, j1
workback_x(1:i1) = cmplx(f_r(1:i1,j,k),f_i(1:i1,j,k))
call FFTW_EXECUTE_DFT(planback_x,workback_x,workback_x)
f_r(1:i1,j,k) = real(real (workback_x(1:i1)) )/real(i1)
f_i(1:i1,j,k) = real(aimag(workback_x(1:i1)) )/real(i1)
enddo
enddo
! inverse y - transform
do k = 1, k1
do i = 1, i1
workback_y(1:j1) = cmplx(f_r(i,1:j1,k),f_i(i,1:j1,k))
call FFTW_EXECUTE_DFT(planback_y,workback_y,workback_y)
f_r(i,1:j1,k) = real(real (workback_y(1:j1)) )/real(j1)
f_i(i,1:j1,k) = real(aimag(workback_y(1:j1)) )/real(j1)
enddo
enddo
! inverse z - transform
do j = 1, j1
do i = 1, i1
workback_z(1:k1) = cmplx(f_r(i,j,1:k1),f_i(i,j,1:k1))
call FFTW_EXECUTE_DFT(planback_z,workback_z,workback_z)
f_r(i,j,1:k1) = real(real (workback_z(1:k1)) )
f_i(i,j,1:k1) = real(aimag(workback_z(1:k1)) )
enddo
enddo
</source>
Как видим, вложенность циклов соответствует порядку расположения элементов массивов в языке Фортран - по столбцам - это позволяет существенно сократить время обращения к памяти.
Многократно используются одни и те же вспомогательные массивы, что при небольших размерах сетки должно обеспечить быстроту работы с кэш-памятью.
Однако, данная реализация не является оптимальной. Так, вместо многократного вызова подпрограммы FFTW_EXECUTE_DFT в циклах, можно было бы обращаться к одной подпрограмме, выполняющей
заданное множество одномерных БПФ.

Из приведенных выше листингов программы становится очевиден также и ресурс параллелизма алгоритма: каждое одномерное преобразование Фурье выполняется независимо. Самым простым способом использования этого обстоятельства будет вставка соответствующих директив OpenMP перед внутренними циклами - в случае использования многоядерной архтитектуры компьютера на общей памяти. В случае же параллельного выполнения на кластерах с распределенной памятью, необходимо будет позаботиться о распределении входного массива (правой части уравнения) между процессорами, а также "транспозиции" массивов при переходе от БПФ по одному из направлений к БПФ по следующему направлению.

Заметим также, что в приведенной выше реализации для расчета одномерного БПФ производится вызов процедуры библиотеки FFTW, обрабатывающей массив комплексных чисел. В то же время, существует вариант БПФ для преобразования действительных массивов, ускоряющий БПФ в два раза (более подробно см. на [http://www.fftw.org/fftw3_doc/One_002dDimensional-DFTs-of-Real-Data.html#One_002dDimensional-DFTs-of-Real-Data сайте проекта FFTW]).

Важным обстоятельством является то, что большинство вариантов БПФ, включая алгоритм Кули-Тьюки, в арифметике с плавающей запятой имеют очень низкую погрешность. Верхняя граница относительной ошибки для алгоритма Кули-Тьюки составляет <math>O(\epsilon \log N)</math> (для сравнения - относительная ошибка преобразования Фурье непосредственно по формуле дискретного преобразования Фурье - <math>O(\epsilon N^{3/2})</math>) <ref> Gentleman, W. M.; Sande, G. (1966). "Fast Fourier transforms—for fun and profit". Proc. AFIPS 29: 563–578. doi:10.1145/1464291.1464352 </ref>. Поэтому для ускорения алгоритма можно использовать одинарную точность представления переменных без существенного увеличения ошибки.

=== Возможные способы и особенности параллельной реализации алгоритма ===
Как было показано выше, существует, по меньшей мере, два уровня параллелизма в описываемом алгоритме. Во-первых, это параллельная реализация одномерных БПФ и, во-вторых, координатный параллелизм - параллельное исполнение независимых одномерных БПФ <ref>Anshu Dubey and Daniele Tessera. Redistribution strategies for portable parallel FFT: a case study. Concurrency and Computation: Practice and Experience, 13(3):209–220, 2001.</ref>. Эти два уровня могут быть скомбинированы, например, путем распределения разных БПФ между MPI-процессами, а каждого отдельного БПФ - между нитями на общей памяти (POSIX, OpenMP, и т.д.). Ниже мы приведем детали базового алгоритма распараллеливания с использованием координатного параллелизма, рассмотрим его недостатки и перечислим возможные способы повышения его масштабируемости.

Координатный параллелизм в контексте данной задачи реализуется в результате разбиения трехмерной области на подобласти, в каждой из которых можно независимо от расчетов в других подобластях, выполнить одномерные БПФ. К настоящему времени предложены две реализации такого подхода: одномерное разбиение области (slab decomposition) и двумерное разбиение (pencil decomposition) <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref>. При одномерном разбиении требуется меньшее количество MPI-пересылок, однако, максимальное количество процессоров/ядер ограничено максимальным по трем измерениям размером области. Поэтому с точки зрения массивного параллелизма двумерная декомпозиция предпочтительнее, и ниже мы остановимся на этом подходе.

При MPI-реализации необходимо принять во внимание накладные расходы, вызванные пересылками данных между процессорами. Для реализации обсуждаемого алгоритма необходимо осуществлять т.н. транспонирования массивов, при которых на каждом из трех этапов преобразования Фурье (этапы 1-3 и 5-7 в п.1.5) обеспечивается нахождение элементов массива вдоль соответствующих направлений в памяти соответствующих процессоров:

[[File:transp.png|center|thumb|800px|Транспонирование трехмерного массива при параллельной реализации трехмерного БПФ]]

Рассмотрим соотношение вычислений и пересылок данных при MPI-реализации. Вычислительная сложность алгоритма при покоординатном распараллеливании, при запуске на <math>M</math> MPI-процессах составляет <math> \left(6N^3(\log_2 N) + N^3\right)/M</math>, т.е., в лучшем случае, <math> 6N(\log_2 N) + N</math> (на <math>N^2</math> процессах). При этом, суммарное количество отсылаемых и получаемых MPI-пакетов составляет <math>8N_{px}+4N_{py}</math>, а суммарное количество отсылаемых и получаемых элементов массива на каждом процессе - <math>12N^3/(N_{px}N_{py})</math> (здесь - <math>N_{px},~N_{py}</math> - количества процессов в двумерной MPI-декомпозиции области по осям <math>x</math> и <math>y</math>, соответственно - см. рис. выше). Учитывая, что <math>M=N_{px}N_{py}</math>, получаем, что отношение количества пересылаемых элементов массива к количеству арифметических операций составляет <math>\alpha=12/(6\log_2 N + 1)</math>. Таким образом, отношение объема пересылаемых элементов к количеству операций не зависит от количества MPI-процессов и уменьшается с ростом размера задачи. При больших <math>N</math>, однако, эта зависимость становится слабой, т.е. "насыщается". В то же время, при фиксированном размере задачи, рост количества используемых процессов, не изменяя параметра <math>\alpha</math>, вызывает рост числа пакетов (<math>\propto \sqrt{M}</math>, в силу <math>N_{px} \propto N_{py} \propto \sqrt{M}</math> и формул, приведенных выше). В силу латентности сети, это приводит к росту времени пересылки единицы данных и, следовательно, замедлению ускорения алгоритма.

Приведенный здесь анализ может служить только для ориентировочных оценок, поскольку он не дает времен вычислений и MPI-обменов. Более детальные расчеты для случаев одномерной и двумерной декомпозиции области обширно представлены в литературе <ref>Orlando Ayala, Lian-Ping Wang, Parallel implementation and scalability analysis of 3D Fast Fourier Transform using 2D domain decomposition, Parallel Computing, Volume 39, Issue 1, January 2013, Pages 58-77, ISSN 0167-8191, http://dx.doi.org/10.1016/j.parco.2012.12.002.</ref><ref>P. Dmitruk, L.-P. Wang, W.H. Matthaeus, R. Zhang, D. Seckel, Scalable parallel FFT for spectral simulations on a Beowulf cluster, Parallel Comput. 27
(2001) 1921–1936.</ref>.

В профилируемом в следующих разделах программном коде параллельной реализации алгоритма вызовы одномерных БПФ по трем направлениям, показанные в листинге п.2.1, перемежаются вызовами специальных процедур, осуществляющих транспонирование массива. Отдельно транспонируются действительная и мнимая части массива (что уже не оптимально - лучше пересылать комплексные числа) с помощью коммуникаций "точка-точка". При этом используются асинхронные пересылки с помощью MPI_ISEND и MPI_IRECV.

=== Результаты прогонов ===
=== Выводы для классов архитектур ===

== Литература ==

<references />

[[Категория:Законченные статьи]]

[[En:Poisson equation, solving with DFT]]

Poisson equation, solving with DFT, PFFT

2022-07-21T12:52:49Z