Алговики - Вклад [ru]

Квадратурные формулы

2019-07-31T08:07:51Z

Kukarkin: /* Квадратурные Формулы Гаусса */

{{level-a}}

Основные авторы описания: [[Участник:Kukarkin|А.Б.Кукаркин]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)\,dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой; различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{a+b}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

==== Квадратурные Формулы Гаусса ====

Как отмечалось выше, если квадратурная формула с <math>n</math> узлами является интерполяционной, то ее алгебраическая степень точности не меньше <math>n-1</math>; при любых заданных узлах построение интерполяционной квадратурной формулы осуществляется за счет выбора ее <math>n</math> коэффициентов. За счет же выбора <math>n</math> узлов интерполяционной квадратурной формулы можно добиться того, чтобы она имела возможно более высокую алгебраическую степень точности, а именно <math>2n-1</math>.

Задача построения такой квадратурной формулы рассматривалась Карлом Фридрихом Гауссом; им была доказана ее разрешимость.

Квадратурная формула с <math>n</math> узлами, алгебраическая степень точности которой равна <math>2n-1</math>, называется квадратурной формулой Гаусса или квадратурной формулой наивысшей алгебраической степени точности.

В случае отрезка <math>[-1,1]</math> квадратурная формула
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\sum\limits_{i=1}^n c_i f(t_i)</math>
является квадратурной формулой Гаусса тогда и только тогда, когда она является интерполяционной, а ее узлы <math>t_i</math> являются корнями многочлена Лежандра
: <math>P_n(t)=\frac1{2^nn!}\frac{d^n}{dt^n}((t^2-1)^n).</math>

В частности, при <math>n=2</math> и <math>n=3</math> квадратурные формулы Гаусса для отрезка <math>[-1,1]</math> таковы:
: <math>\int\limits_{-1}^1 f(t)\,dt\approx f\left(-\frac1{\sqrt3}\right)+f\left(\frac1{\sqrt3}\right),</math>
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\frac59\;f\left(-\sqrt{\frac35}\right)+\frac89\;f(0)+
\frac59\;f\left(\sqrt{\frac35}\right).</math>

Чтобы получить квадратурную формулу Гаусса для произвольного отрезка <math>[a,b]</math>, следует сделать замену переменной
: <math>x=\frac{a+b}2+\frac{b-a}2\,t,</math>
в результате которой
: <math>\int\limits_a^b\!f(x)\,dx=\frac{b-a}2\int\limits_{-1}^1\!f\left(\frac{a+b}2+\frac{b-a}2\,t\right)\,dt.</math>
Воспользовавшись квадратурной формулой Гаусса для отрезка <math>[-1,1]</math>, получим квадратурную формулу Гаусса для отрезка <math>[a,b]</math>:
: <math>I\approx\frac{b-a}2\sum\limits_{i=1}^n c_i f(x_i),</math>
где <math>x_i=0.5(a+b+(b-a)t_i)</math>, <math>t_i</math> — корни многочлена Лежандра <math>P_n(t)</math>.

Для погрешности квадратурной формулы Гаусса c <math>n</math> узлами справедлива оценка
:<math>|R_n(f)|\le\frac{M_{2n}(n!)^4}{((2n)!)^3(2n+1)}(b-a)^{2n+1},</math>
где <math>M_{2n}=\max\limits_{x\in[a,b]}|f^{(2n)}(x)|</math>.

Коэффициенты квадратурных формул Гаусса положительны. Поэтому использование квадратурных формул Гаусса с большим числом узлов не приводит к тем осложнениям, которые возникают при использовании формул Ньютона-Котеса.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел — массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

[[Категория:Численные методы интегрирования]]

[[Категория:Статьи в работе]]

[[en:Cubature rules]]

Квадратурные формулы

2016-10-28T12:28:53Z

Kukarkin: /* Математическое описание алгоритма */

Основные авторы описания: [[Участник:Kukarkin|А.Б.Кукаркин]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)\,dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой; различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{a+b}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

==== Квадратурные Формулы Гаусса ====

Как отмечалось выше, если квадратурная формула с <math>n</math> узлами является интерполяционной, то ее алгебраическая степень точности не меньше <math>n-1</math>; при любых заданных узлах построение интерполяционной квадратурной формулы осуществляется за счет выбора ее <math>n</math> коэффициентов. За счет же выбора <math>n</math> узлов интерполяционной квадратурной формулы можно добиться того, чтобы она имела возможно более высокую алгебраическую степень точности, а именно <math>2n-1</math>.

Задача построения такой квадратурной формулы рассматривалась Карлом Фридрихом Гауссом; им была доказана ее разрешимость.

Квадратурная формула с <math>n</math> узлами, алгебраическая степень точности которой равна <math>2n-1</math>, называется квадратурной формулой Гаусса или квадратурной формулой наивысшей алгебраической степени точности.

В случае отрезка <math>[-1,1]</math> квадратурная формула
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\sum\limits_{i=1}^n c_i f(t_i)</math>
является квадратурной формулой Гаусса тогда и только тогда, когда она является интерполяционной, а ее узлы <math>t_i</math> являются корнями многочлена Лежандра
: <math>P_n(t)=\frac1{2^nn!}\frac{d^n}{dx^n}((x^2-1)^n).</math>

В частности, при <math>n=2</math> и <math>n=3</math> квадратурные формулы Гаусса для отрезка <math>[-1,1]</math> таковы:
: <math>\int\limits_{-1}^1 f(t)\,dt\approx f\left(-\frac1{\sqrt3}\right)+f\left(\frac1{\sqrt3}\right),</math>
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\frac59\;f\left(-\sqrt{\frac35}\right)+\frac89\;f(0)+
\frac59\;f\left(\sqrt{\frac35}\right).</math>

Чтобы получить квадратурную формулу Гаусса для произвольного отрезка <math>[a,b]</math>, следует сделать замену переменной
: <math>x=\frac{a+b}2+\frac{b-a}2\,t,</math>
в результате которой
: <math>\int\limits_a^b\!f(x)\,dx=\frac{b-a}2\int\limits_{-1}^1\!f\left(\frac{a+b}2+\frac{b-a}2\,t\right)\,dt.</math>
Воспользовавшись квадратурной формулой Гаусса для отрезка <math>[-1,1]</math>, получим квадратурную формулу Гаусса для отрезка <math>[a,b]</math>:
: <math>I\approx\frac{b-a}2\sum\limits_{i=1}^n c_i f(x_i),</math>
где <math>x_i=0.5(a+b+(b-a)t_i)</math>, <math>t_i</math> — корни многочлена Лежандра <math>P_n(t)</math>.

Для погрешности квадратурной формулы Гаусса c <math>n</math> узлами справедлива оценка
:<math>|R_n(f)|\le\frac{M_{2n}(n!)^4}{((2n)!)^3(2n+1)}(b-a)^{2n+1},</math>
где <math>M_{2n}=\max\limits_{x\in[a,b]}|f^{(2n)}(x)|</math>.

Коэффициенты квадратурных формул Гаусса положительны. Поэтому использование квадратурных формул Гаусса с большим числом узлов не приводит к тем осложнениям, которые возникают при использовании формул Ньютона-Котеса.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел — массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

[[Категория:Численные методы интегрирования]]

Квадратурные формулы

2016-10-26T10:41:16Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Kukarkin|А.Б.Кукаркин]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)\,dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой; различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{a+b}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

==== Квадратурные Формулы Гаусса ====

Как отмечалось выше, если квадратурная формула с <math>n</math> узлами является интерполяционной, то ее алгебраическая степень точности не меньше <math>n-1</math>; при любых заданных узлах построение интерполяционной квадратурной формулы осуществляется за счет выбора ее <math>n</math> коэффициентов. За счет же выбора <math>n</math> узлов интерполяционной квадратурной формулы можно добиться того, чтобы она имела возможно более высокую алгебраическую степень точности, а именно <math>2n-1</math>.

Задача построения такой квадратурной формулы рассматривалась Карлом Фридрихом Гауссом; им была доказана ее разрешимость.

Квадратурная формула с <math>n</math> узлами, алгебраическая степень точности которой равна <math>2n-1</math>, называется квадратурной формулой Гаусса или квадратурной формулой наивысшей алгебраической степени точности.

В случае отрезка <math>[-1,1]</math> квадратурная формула
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\sum\limits_{i=1}^n c_i f(t_i)</math>
является квадратурной формулой Гаусса тогда и только тогда, когда она является интерполяционной, а ее узлы <math>t_i</math> являются корнями многочлена Лежандра
: <math>P_n(t)=\frac1{2^nn!}\frac{d^n}{dx^n}((x^2-1)^n).</math>

В частности, при <math>n=2</math> и <math>n=3</math> квадратурные формулы Гаусса для отрезка <math>[-1,1]</math> таковы:
: <math>\int\limits_{-1}^1 f(t)\,dt\approx f\left(-\frac1{\sqrt3}\right)+f\left(\frac1{\sqrt3}\right),</math>
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\frac59\;f\left(-\sqrt{\frac35}\right)+\frac89\;f(0)+
\frac59\;f\left(\sqrt{\frac35}\right).</math>

Чтобы получить квадратурную формулу Гаусса для произвольного отрезка <math>[a,b]</math>, следует сделать замену переменной
: <math>x=\frac{a+b}2+\frac{b-a}2\,t,</math>
в результате которой
: <math>\int\limits_a^b\!f(x)\,dx=\frac{b-a}2\int\limits_{-1}^1\!f\left(\frac{a+b}2+\frac{b-a}2\,t\right)\,dt.</math>
Воспользовавшись квадратурной формулой Гаусса для отрезка <math>[-1,1]</math>, получим квадратурную формулу Гаусса для отрезка <math>[a,b]</math>:
: <math>I\approx\frac{b-a}2\sum\limits_{i=1}^n c_i f(x_i),</math>
где <math>x_i=0.5(a+b+(b-a)t_i)</math>, <math>t_i</math> — корни многочлена Лежандра <math>P_n(t)</math>.

Для погрешности квадратурной формулы Гаусса c <math>n</math> узлами справедлива оценка
:<math>|R_n(f)|\le\frac{M_{2n}(n!)^4}{((2n)!)^3(2n+1)}(b-a)^{2n+1},</math>
где <math>M_{2n}=\max\limits_{x\in[a,b]}|f^{(2n)}(x)|</math>.

Коэффициенты квадратурных формул Гаусса положительны. Поэтому использование квадратурных формул Гаусса с большим числом узлов не приводит к тем осложнениям, которые возникают при использовании формул Ньютона-Котеса.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

[[Категория:Численные методы интегрирования]]

Квадратурные формулы

2016-02-09T08:57:43Z

Kukarkin:

Основные авторы описания: [[Участник:Kukarkin|А.Б.Кукаркин]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)\,dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

==== Квадратурные Формулы Гаусса ====

Как отмечалось выше, если квадратурная формула с <math>n</math> узлами является интерполяционной, то ее алгебраическая степень точности не меньше <math>n-1</math>; при любых заданных узлах построение интерполяционной квадратурной формулы осуществляется за счет выбора ее <math>n</math> коэффициентов. За счет же выбора <math>n</math> узлов интерполяционной квадратурной формулы можно добиться того, чтобы она имела возможно более высокую алгебраическую степень точности, а именно <math>2n-1</math>.

Задача построения такой квадратурной формулы рассматривалась Карлом Фридрихом Гауссом; им была доказана ее разрешимость.

Квадратурная формула с <math>n</math> узлами, алгебраическая степень точности которой равна <math>2n-1</math>, называется квадратурной формулой Гаусса или квадратурной формулой наивысшей алгебраической степени точности.

В случае отрезка <math>[-1,1]</math> квадратурная формула
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\sum\limits_{i=1}^n c_i f(t_i)</math>
является квадратурной формулой Гаусса тогда и только тогда, когда она является интерполяционной, а ее узлы <math>t_i</math> являются корнями многочлена Лежандра
: <math>P_n(t)=\frac1{2^nn!}\frac{d^n}{dx^n}((x^2-1)^n).</math>

В частности, при <math>n=2</math> и <math>n=3</math> квадратурные формулы Гаусса для отрезка <math>[-1,1]</math> таковы:
: <math>\int\limits_{-1}^1 f(t)\,dt\approx f\left(-\frac1{\sqrt3}\right)+f\left(\frac1{\sqrt3}\right),</math>
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\frac59\;f\left(-\sqrt{\frac35}\right)+\frac89\;f(0)+
\frac59\;f\left(\sqrt{\frac35}\right).</math>

Чтобы получить квадратурную формулу Гаусса для произвольного отрезка <math>[a,b]</math>, следует сделать замену переменной
: <math>x=\frac{a+b}2+\frac{b-a}2\,t,</math>
в результате которой
: <math>\int\limits_a^b\!f(x)\,dx=\frac{b-a}2\int\limits_{-1}^1\!f\left(\frac{a+b}2+\frac{b-a}2\,t\right)\,dt.</math>
Воспользовавшись квадратурной формулой Гаусса для отрезка <math>[-1,1]</math>, получим квадратурную формулу Гаусса для отрезка <math>[a,b]</math>:
: <math>I\approx\frac{b-a}2\sum\limits_{i=1}^n c_i f(x_i),</math>
где <math>x_i=0.5(a+b+(b-a)t_i)</math>, <math>t_i</math> — корни многочлена Лежандра <math>P_n(t)</math>.

Для погрешности квадратурной формулы Гаусса c <math>n</math> узлами справедлива оценка
:<math>|R_n(f)|\le\frac{M_{2n}(n!)^4}{((2n)!)^3(2n+1)}(b-a)^{2n+1},</math>
где <math>M_{2n}=\max\limits_{x\in[a,b]}|f^{(2n)}(x)|</math>.

Коэффициенты квадратурных формул Гаусса положительны. Поэтому использование квадратурных формул Гаусса с большим числом узлов не приводит к тем осложнениям, которые возникают при использовании формул Ньютона-Котеса.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Квадратурные формулы

2016-02-09T08:50:06Z

Kukarkin: /* Математическое описание алгоритма */

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)\,dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

==== Квадратурные Формулы Гаусса ====

Как отмечалось выше, если квадратурная формула с <math>n</math> узлами является интерполяционной, то ее алгебраическая степень точности не меньше <math>n-1</math>; при любых заданных узлах построение интерполяционной квадратурной формулы осуществляется за счет выбора ее <math>n</math> коэффициентов. За счет же выбора <math>n</math> узлов интерполяционной квадратурной формулы можно добиться того, чтобы она имела возможно более высокую алгебраическую степень точности, а именно <math>2n-1</math>.

Задача построения такой квадратурной формулы рассматривалась Карлом Фридрихом Гауссом; им была доказана ее разрешимость.

Квадратурная формула с <math>n</math> узлами, алгебраическая степень точности которой равна <math>2n-1</math>, называется квадратурной формулой Гаусса или квадратурной формулой наивысшей алгебраической степени точности.

В случае отрезка <math>[-1,1]</math> квадратурная формула
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\sum\limits_{i=1}^n c_i f(t_i)</math>
является квадратурной формулой Гаусса тогда и только тогда, когда она является интерполяционной, а ее узлы <math>t_i</math> являются корнями многочлена Лежандра
: <math>P_n(t)=\frac1{2^nn!}\frac{d^n}{dx^n}((x^2-1)^n).</math>

В частности, при <math>n=2</math> и <math>n=3</math> квадратурные формулы Гаусса для отрезка <math>[-1,1]</math> таковы:
: <math>\int\limits_{-1}^1 f(t)\,dt\approx f\left(-\frac1{\sqrt3}\right)+f\left(\frac1{\sqrt3}\right),</math>
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\frac59\;f\left(-\sqrt{\frac35}\right)+\frac89\;f(0)+
\frac59\;f\left(\sqrt{\frac35}\right).</math>

Чтобы получить квадратурную формулу Гаусса для произвольного отрезка <math>[a,b]</math>, следует сделать замену переменной
: <math>x=\frac{a+b}2+\frac{b-a}2\,t,</math>
в результате которой
: <math>\int\limits_a^b\!f(x)\,dx=\frac{b-a}2\int\limits_{-1}^1\!f\left(\frac{a+b}2+\frac{b-a}2\,t\right)\,dt.</math>
Воспользовавшись квадратурной формулой Гаусса для отрезка <math>[-1,1]</math>, получим квадратурную формулу Гаусса для отрезка <math>[a,b]</math>:
: <math>I\approx\frac{b-a}2\sum\limits_{i=1}^n c_i f(x_i),</math>
где <math>x_i=0.5(a+b+(b-a)t_i)</math>, <math>t_i</math> — корни многочлена Лежандра <math>P_n(t)</math>.

Для погрешности квадратурной формулы Гаусса c <math>n</math> узлами справедлива оценка
:<math>|R_n(f)|\le\frac{M_{2n}(n!)^4}{((2n)!)^3(2n+1)}(b-a)^{2n+1},</math>
где <math>M_{2n}=\max\limits_{x\in[a,b]}|f^{(2n)}(x)|</math>.

Коэффициенты квадратурных формул Гаусса положительны. Поэтому использование квадратурных формул Гаусса с большим числом узлов не приводит к тем осложнениям, которые возникают при использовании формул Ньютона-Котеса.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Квадратурные формулы

2016-02-09T08:49:05Z

Kukarkin: /* Математическое описание алгоритма */

Квадратурные формулы

2016-02-04T14:18:13Z

Kukarkin: /* Свойства и структура алгоритма */

Квадратурные формулы

2016-02-04T13:47:04Z

Kukarkin: /* Свойства и структура алгоритма */

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)\,dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

==== Квадратурные Формулы Гаусса ====

Как отмечалось выше, если квадратурная формула с <math>n</math> узлами является интерполяционной, то ее алгебраическая степень точности не меньше <math>n-1</math>; при любых заданных узлах построение интерполяционной квадратурной формулы осуществляется за счет выбора ее <math>n</math> коэффициентов. За счет же выбора <math>n</math> узлов интерполяционной квадратурной формулы можно добиться того, чтобы она имела возможно более высокую алгебраическую степень точности, а именно <math>2n-1</math>.

Задача построения такой квадратурной формулы рассматривалась Карлом Фридрихом Гауссом; им была доказана ее разрешимость.

Квадратурная формула с <math>n</math> узлами, алгебраическая степень точности которой равна <math>2n-1</math>, называется квадратурной формулой Гаусса или квадратурной формулой наивысшей алгебраической степени точности.

В случае отрезка <math>[-1,1]</math> квадратурная формула
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\sum\limits_{i=1}^n c_i f(t_i)</math>
является квадратурной формулой Гаусса тогда и только тогда, когда она является интерполяционной, а ее узлы <math>t_i</math> являются корнями многочлена Лежандра
: <math>P_n(t)=\frac1{2^nn!}\frac{d^n}{dx^n}((x^2-1)^n).</math>

В частности, при <math>n=2</math> и <math>n=3</math> квадратурные формулы Гаусса для отрезка <math>[-1,1]</math> таковы:
: <math>\int\limits_{-1}^1 f(t)\,dt\approx f\left(-\frac1{\sqrt3}\right)+f\left(\frac1{\sqrt3}\right),</math>
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\frac59\;f\left(-\sqrt{\frac35}\right)+\frac89\;f(0)+
\frac59\;f\left(\sqrt{\frac35}\right).</math>

Чтобы получить квадратурную формулу Гаусса для произвольного отрезка <math>[a,b]</math>, следует сделать замену переменной
: <math>x=\frac{a+b}2+\frac{b-a}2\,t,</math>
в результате которой
: <math>\int\limits_a^b\!f(x)\,dx=\frac{b-a}2\int\limits_{-1}^1\!f\left(\frac{a+b}2+\frac{b-a}2\,t\right)\,dt.</math>
Воспользовавшись квадратурной формулой Гаусса для отрезка <math>[-1,1]</math>, получим квадратурную формулу Гаусса для отрезка <math>[a,b]</math>:
: <math>I\approx\frac{b-a}2\sum\limits_{i=1}^n c_i f(x_i),</math>
где <math>x_i=0.5(a+b+(b-a)t_i)</math>, <math>t_i</math> — корни многочлена Лежандра <math>P_n(t)</math>.

Коэффициенты квадратурных формул Гаусса положительны. Поэтому использование квадратурных формул Гаусса с большим числом узлов не приводит к тем осложнениям, которые возникают при использовании формул Ньютона-Котеса.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Квадратурные формулы

2016-02-04T13:17:54Z

Kukarkin: /* Квадратурные Формулы Гаусса */

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

==== Квадратурные Формулы Гаусса ====

Как отмечалось выше, если квадратурная формула с <math>n</math> узлами является интерполяционной, то ее алгебраическая степень точности не меньше <math>n-1</math>; при любых заданных узлах построение интерполяционной квадратурной формулы осуществляется за счет выбора ее <math>n</math> коэффициентов. За счет же выбора <math>n</math> узлов интерполяционной квадратурной формулы можно добиться того, чтобы она имела возможно более высокую алгебраическую степень точности, а именно <math>2n-1</math>.

Задача построения такой квадратурной формулы рассматривалась Карлом Фридрихом Гауссом; им была доказана ее разрешимость.

Квадратурная формула с <math>n</math> узлами, алгебраическая степень точности которой равна <math>2n-1</math>, называется квадратурной формулой Гаусса или квадратурной формулой наивысшей алгебраической степени точности.

В случае отрезка <math>[-1,1]</math> квадратурная формула
: <math>\int\limits_{-1}^1 f(t)dt\approx\sum\limits_{i=1}^n c_i f(t_i)</math>
является квадратурной формулой Гаусса тогда и только тогда, когда она является интерполяционной, а ее узлы <math>t_i</math> являются корнями многочлена Лежандра
: <math>P_n(t)=\frac1{2^nn!}\frac{d^n}{dx^n}((x^2-1)^n).</math>

В частности, при <math>n=2</math> и <math>n=3</math> квадратурные формулы Гаусса для отрезка <math>[-1,1]</math> таковы:
: <math>\int\limits_{-1}^1 f(t)\,dt\approx f\left(-\frac1{\sqrt3}\right)+f\left(\frac1{\sqrt3}\right),</math>
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\frac59\;f\left(-\sqrt{\frac35}\right)+\frac89\;f(0)+
\frac59\;f\left(\sqrt{\frac35}\right).</math>

Чтобы получить квадратурную формулу Гаусса для произвольного отрезка <math>[a,b]</math>, следует сделать замену переменной
: <math>x=\frac{a+b}2+\frac{b-a}2\,t,</math>
в результате которой
: <math>\int\limits_a^b\!f(x)\,dx=\frac{b-a}2\int\limits_{-1}^1\!f\left(\frac{a+b}2+\frac{b-a}2\,t\right)\,dt.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Квадратурные формулы

2016-02-04T11:14:21Z

Kukarkin: /* Свойства и структура алгоритма */

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

==== Квадратурные Формулы Гаусса ====

Как отмечалось выше, если квадратурная формула с <math>n</math> узлами является интерполяционной, то ее алгебраическая степень точности не меньше <math>n-1</math>; при любых заданных узлах построение интерполяционной квадратурной формулы осуществляется за счет выбора ее <math>n</math> коэффициентов. За счет же выбора <math>n</math> узлов интерполяционной квадратурной формулы можно добиться того, чтобы она имела возможно более высокую алгебраическую степень точности, а именно <math>2n-1</math>.

Задача построения такой квадратурной формулы рассматривалась Карлом Фридрихом Гауссом; им была доказана ее разрешимость.

Квадратурная формула с <math>n</math> узлами, алгебраическая степень точности которой равна <math>2n-1</math>, называется квадратурной формулой Гаусса или квадратурной формулой наивысшей алгебраической степени точности.

В случае отрезка <math>[-1,1]</math> квадратурная формула
: <math>\int\limits_{-1}^1 f(t)dt\approx\sum\limits_{i=1}^n c_i f(t_i)</math>
является квадратурной формулой Гаусса тогда и только тогда, когда она является интерполяционной, а ее узлы <math>t_i</math> являются корнями многочлена Лежандра
: <math>P_n(t)=\frac1{2^nn!}\frac{d^n}{dx^n}((x^2-1)^n).</math>

В частности, при <math>n=2</math> и <math>n=3</math> квадратурные формулы Гаусса для отрезка <math>[-1,1]</math> таковы:
: <math>\int\limits_{-1}^1 f(t)\,dt\approx f\left(-\frac1{\sqrt3}\right)+f\left(\frac1{\sqrt3}\right),</math>
: <math>\int\limits_{-1}^1 f(t)\,dt\approx\frac59\;f\left(-\sqrt{\frac35}\right)+\frac89\;f(0)+
\frac59\;f\left(\sqrt{\frac35}\right).</math>
=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Квадратурные формулы

2016-02-03T13:08:19Z

Kukarkin: /* Свойства и структура алгоритма */

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

==== Квадратурные Формулы Гаусса ====

Как отмечалось выше, если квадратурная формула с <math>n</math> узлами является интерполяционной, то ее алгебраическая степень точности не меньше <math>n-1</math>; при любых заданных узлах построение интерполяционной квадратурной формулы осуществляется за счет выбора ее <math>n</math> коэффициентов. За счет же выбора <math>n</math> узлов интерполяционной квадратурной формулы можно добиться того, чтобы она имела возможно более высокую алгебраическую степень точности, а именно <math>2n-1</math>.

Задача построения такой квадратурной формулы рассматривалась Карлом Фридрихом Гауссом; им была доказана ее разрешимость.

Квадратурная формула с <math>n</math> узлами, алгебраическая степень точности которой равна <math>2n-1</math>, называется квадратурной формулой Гаусса или квадратурной формулой наивысшей алгебраической степени точности.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Квадратурные формулы

2016-02-02T12:47:28Z

Kukarkin: /* Формулы Ньютона-Котеса */

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f\left(\frac{a+b}2\right)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,\left(f(a)+3f\left(\frac{2a+b}3\right)+3f\left(\frac{a+2b}3\right)+f(b)\right),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Квадратурные формулы

2016-02-02T09:06:26Z

Kukarkin: /* Общее описание алгоритма */

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> — коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\le 2n-1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными. Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Если интерполяционная квадратурная формула с <math>n</math> узлами имеет алгебраическую степень точности <math>k</math>, то <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Квадратурные формулы

2016-02-01T13:55:40Z

Kukarkin: /* Общее описание алгоритма */

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> — интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул — приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-02-01T13:54:25Z

Kukarkin: /* Свойства и структура алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом (лат. quadratura — придание квадратурной формы). 1) Число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет нкаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится не на равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить значение подынтегрального выражения и помножить его на весовой коэффициент, затем данные числа складываются, и полученная сумма и представляет собой результат интегрирования.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значения координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности. По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников''. Функция для заданного отрезка приближается константной функцией, тем самым интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина.

: <math>\int\limits_a^b f(x)dx\approx f((a+b)/2)*(b-a)</math>

''Метод трапеций''. <math>f(x)</math> приближается линейной функцией, тем самым интеграл приближается усредненным значением по краям отрезка.

: <math>\int\limits_a^b f(x)dx\approx (f(a)+f(b))*(b-a)/2</math>

''Метод парабол (метод Симпсона)''. <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине.

: <math>\int\limits_a^b f(x)dx\approx \frac{b-a}6\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right)</math>

''Метод Гаусса''. <math>f()x</math> приближается прямой как в методе трапеций, однако в качестве точек выбираются не концы отрезка, что позволяет увеличить точность.

: <math>\int\limits_a^b f(x)dx\approx \frac{b-a}2\left(f\left(\frac{a+b}2-\frac{b-a}{2\sqrt 3}\right)+f\left(\frac{a+b}2+\frac{b-a}{2\sqrt 3}\right)\right)</math>

В двумерной ситуации распространены методы прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерной ситуации также можно использовать метод Гаусса, однако для больших размерностей не остается ничего, способного конкурировать с методом прямоугольников.

Так или иначе. на подготовительной стадии определяется <math>M</math> наборов координат <math>x_{1,i},\ldots,x_{n,i}</math>, где <math>i</math> меняется от <math>1</math> до <math>M</math>, в которых будет вычисляться функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будут умножаться значения функции, после чего управление передается вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n c_i f(x_{1,i},\ldots,x_{n,i}).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-02-01T13:51:39Z

Kukarkin: /* Вычислительное ядро алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом (лат. quadratura — придание квадратурной формы). 1) Число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет нкаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится не на равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить значение подынтегрального выражения и помножить его на весовой коэффициент, затем данные числа складываются, и полученная сумма и представляет собой результат интегрирования.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значения координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности. По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников''. Функция для заданного отрезка приближается константной функцией, тем самым интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина.

: <math>\int\limits_a^b f(x)dx\approx f((a+b)/2)*(b-a)</math>

''Метод трапеций''. <math>f(x)</math> приближается линейной функцией, тем самым интеграл приближается усредненным значением по краям отрезка.

: <math>\int\limits_a^b f(x)dx\approx (f(a)+f(b))*(b-a)/2</math>

''Метод парабол (метод Симпсона)''. <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине.

: <math>\int\limits_a^b f(x)dx\approx \frac{b-a}6\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right)</math>

''Метод Гаусса''. <math>f()x</math> приближается прямой как в методе трапеций, однако в качестве точек выбираются не концы отрезка, что позволяет увеличить точность.

: <math>\int\limits_a^b f(x)dx\approx \frac{b-a}2\left(f\left(\frac{a+b}2-\frac{b-a}{2\sqrt 3}\right)+f\left(\frac{a+b}2+\frac{b-a}{2\sqrt 3}\right)\right)</math>

В двумерной ситуации распространены методы прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерной ситуации также можно использовать метод Гаусса, однако для больших размерностей не остается ничего, способного конкурировать с методом прямоугольников.

Так или иначе. на подготовительной стадии определяется <math>M</math> наборов координат <math>x_{1,i},\ldots,x_{n,i}</math>, где <math>i</math> меняется от <math>1</math> до <math>M</math>, в которых будет вычисляться функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будут умножаться значения функции, после чего управление передается вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n c_i f(x_{1,i},\ldots).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-02-01T13:45:47Z

Kukarkin: /* Математическое описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом (лат. quadratura — придание квадратурной формы). 1) Число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет нкаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится не на равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить значение подынтегрального выражения и помножить его на весовой коэффициент, затем данные числа складываются, и полученная сумма и представляет собой результат интегрирования.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значения координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности. По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников''. Функция для заданного отрезка приближается константной функцией, тем самым интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина.

: <math>\int\limits_a^b f(x)dx\approx f((a+b)/2)*(b-a)</math>

''Метод трапеций''. <math>f(x)</math> приближается линейной функцией, тем самым интеграл приближается усредненным значением по краям отрезка.

: <math>\int\limits_a^b f(x)dx\approx (f(a)+f(b))*(b-a)/2</math>

''Метод парабол (метод Симпсона)''. <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине.

: <math>\int\limits_a^b f(x)dx\approx \frac{b-a}6\left(f(a)+4f\left(\frac{a+b}2\right)+f(b)\right)</math>

''Метод Гаусса''. <math>f()x</math> приближается прямой как в методе трапеций, однако в качестве точек выбираются не концы отрезка, что позволяет увеличить точность.

: <math>\int\limits_a^b f(x)dx\approx \frac{b-a}2\left(f\left(\frac{a+b}2-\frac{b-a}{2\sqrt 3}\right)+f\left(\frac{a+b}2+\frac{b-a}{2\sqrt 3}\right)\right)</math>

В двумерной ситуации распространены методы прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерной ситуации также можно использовать метод Гаусса, однако для больших размерностей не остается ничего, способного конкурировать с методом прямоугольников.

Так или иначе. на подготовительной стадии определяется <math>M</math> наборов координат <math>x_{1,i},\ldots,x_{n,i}</math>, где <math>i</math> меняется от <math>1</math> до <math>M</math>, в которых будет вычисляться функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будут умножаться значения функции, после чего управление передается вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-02-01T09:01:11Z

Kukarkin: /* Математическое описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом (лат. quadratura — придание квадратурной формы). 1) Число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет нкаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится не на равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить значение подынтегрального выражения и помножить его на весовой коэффициент, затем данные числа складываются, и полученная сумма и представляет собой результат интегрирования.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значения координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности. По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-02-01T08:36:43Z

Kukarkin: /* Свойства и структура алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом (лат. quadratura — придание квадратурной формы). 1) Число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет нкаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится не на равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить значение подынтегрального выражения и помножить его на весовой коэффициент, затем данные числа складываются, и полученная сумма и представляет собой результат интегрирования.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-02-01T08:35:29Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

<math>Введите сюда формулу</math>=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом (лат. quadratura — придание квадратурной формы). 1) Число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет нкаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится не на равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить значение подынтегрального выражения и помножить его на весовой коэффициент, затем данные числа складываются, и полученная сумма и представляет собой результат интегрирования.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-01-29T13:35:25Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом (лат. quadratura — придание квадратурной формы). 1) Число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет нкаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-01-29T13:11:23Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом (лат. quadratura — придание квадратурной формы). 1) Число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет нкаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-01-29T13:09:57Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла по отрезку. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом (лат. quadratura — придание квадратурной формы). 1) Число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет нкаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-01-29T12:51:16Z

Kukarkin: /* Свойства и структура алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование — приближенное вычисление значения определенного интеграла по отрезку. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерое — кубатурой. Большая советская энциклопедия определяет слово "квадратура" следующим способом (лат. quadratura - придание квадратурной формы). 1)Число квадратных единиц в площади данной фигуры. 2)Построение квадрата, равновеликого данной фигуре. 3)вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). .

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2016-01-29T11:23:19Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Численное интегрирование - приближенное вычисление значения определенного интеграла по отрезку. Допустим, нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача - вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерое - кубатурой. Большая советская энциклопедия определяет слово "квадратура" следующим способом (лат. quadratura - придание квадратурной формы). 1)Число квадратных единиц в площади данной фигуры. 2)Построение квадрата, равновеликого данной фигуре. 3)вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). .

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные формулы

2016-01-29T10:41:43Z

Kukarkin: Новая страница: «== Свойства и структура алгоритма == === Общее описание алгоритма === Задача одномерного чи…»

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

Классификация алгоритмов

2016-01-29T10:39:26Z

Kukarkin:

# <div id="Векторные операции">'''Векторные операции'''</div>
## ''Суммирование сдваиванием''
### {{level|Нахождение суммы элементов массива сдваиванием}}
### {{level|Нахождение частных сумм элементов массива сдваиванием}}
## {{level|Равномерная норма вектора, вещественная версия, последовательно-параллельный вариант}}
## {{level|Скалярное произведение векторов, вещественная версия, последовательно-параллельный вариант}}
## {{level|Последовательно-параллельный метод суммирования}}
# <div id="Матрично-векторные операции">'''Матрично-векторные операции'''</div>
## {{level|Умножение плотной матрицы на вектор}}
# <div id="Матричные операции">'''Матричные операции'''</div>
## {{level|Умножение плотных матриц}}
# <div id="Разложения матриц">'''Разложения матриц'''</div>
## ''Треугольные разложения''
### Метод Гаусса (нахождение LU-разложения)
#### {{level|Метод Гаусса без перестановок}}
##### LU-разложение методом Гаусса
##### Компактная схема метода Гаусса и её модификации
###### Компактная схема метода Гаусса для плотной матрицы
###### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы и её модификации}}
####### {{level|Компактная схема метода Гаусса для трёхдиагональной матрицы, последовательный вариант}}
####### {{level|Алгоритм сдваивания Стоуна для LU-разложения трёхдиагональной матрицы}}
####### {{level|Последовательно-параллельный алгоритм для LU-разложения трёхдиагональной матрицы}}
#### Метод Гаусса с перестановками
##### Метод Гаусса с выбором ведущего элемента по столбцу
##### Метод Гаусса с выбором ведущего элемента по строке
##### Метод Гаусса с выбором ведущего элемента по главной диагонали
##### Метод Гаусса с выбором ведущего элемента по всей матрице
### {{level|Метод Холецкого (нахождение симметричного треугольного разложения)}}
#### {{level|Разложение Холецкого (метод квадратного корня)}} базовый точечный вещественный вариант для плотной симметричной положительно-определённой матрицы
### {{level|Известные треугольные разложения для матриц специального вида}}
## ''Унитарно-треугольные разложения''
### {{level|Метод Гивенса (вращений) QR-разложения матрицы}}
### {{level|Метод Хаусхолдера (отражений) QR-разложения матрицы}}
## ''Разложения на унитарные и хессенберговы матрицы''
### {{level|Метод Хаусхолдера (отражений) приведения матрицы к хессенберговой (двухдиагональной) форме}}
### {{level|Метод Гивенса (вращений) приведения матрицы к хессенберговой (двухдиагональной) форме}}
## ''Разложения на унитарные и диагональные матрицы''
### {{level|Спектральное разложение (нахождение собственных значений и векторов)}}
### {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}
# <div id="Решение систем линейных уравнений">'''Решение систем линейных уравнений'''</div>
## Прямые методы решения СЛАУ
### {{level|Linpack benchmark}}
### Методы решения СЛАУ с матрицами специального вида
#### Методы решения СЛАУ с треугольными матрицами
##### {{level|Прямая подстановка (вещественный вариант)|Прямая подстановка}}
##### {{level|Обратная подстановка (вещественный вариант)|Обратная подстановка}}
##### Методы решения СЛАУ с двухдиагональными матрицами
###### {{level|Прямая и обратная подстановка в СЛАУ с двухдиагональной матрицей}}
###### {{level|Метод сдваивания Стоуна для решения двухдиагональных СЛАУ}}
###### {{level|Последовательно-параллельный вариант обратной подстановки}}
#### {{level|Методы решения СЛАУ с трёхдиагональными матрицами}}
##### Методы, основанные на стандартном LU-разложении матрицы
###### {{level|Прогонка}}
####### {{level|Прогонка, точечный вариант|Классическая монотонная прогонка}}
####### {{level|Повторная прогонка, точечный вариант|Повторная прогонка для новой правой части, классическая схема}}
###### {{level|Метод сдваивания Стоуна}}
###### {{level|Последовательно-параллельный вариант решения трёхдиагональной СЛАУ с LU-разложением и обратными подстановками}}
##### Другие методы
###### {{level|Метод редукции}}
####### {{level|Полный метод редукции}}
####### {{level|Повторный метод редукции для новой правой части}}
###### Встречная прогонка
####### {{level|Встречная прогонка, точечный вариант|Классическая встречная прогонка}}
####### {{level|Повторная встречная прогонка, точечный вариант|Повторная прогонка для новой правой части, встречная схема}}
###### {{level|Метод циклической редукции}}
####### {{level|Полный метод циклической редукции}}
####### {{level|Повторный метод циклической редукции для новой правой части}}
###### {{level|Метод окаймления}}
#### Методы решения СЛАУ с блочно-треугольными матрицами
##### {{level|Блочная прямая подстановка (вещественный вариант)|Блочная прямая подстановка}}
##### {{level|Блочная обратная подстановка (вещественный вариант)|Блочная обратная подстановка}}
##### Методы решения СЛАУ с блочно-двухдиагональными матрицами
###### {{level|Прямая и обратная подстановка в СЛАУ с блочно-двухдиагональной матрицей}}
###### {{level|Метод сдваивания Стоуна для решения блочно-двухдиагональных СЛАУ}}
###### {{level|Блочный последовательно-параллельный вариант обратной подстановки для решения блочно-двухдиагональных СЛАУ}}
#### {{level|Методы решения СЛАУ с блочно-трёхдиагональными матрицами}}
##### Методы, основанные на стандартном LU-разложении матрицы
###### {{level|Блочная прогонка}}
###### {{level|Блочный последовательно-параллельный вариант решения с LU-разложением и обратными подстановками}}
##### Другие методы
###### {{level|Встречная прогонка, блочный вариант}}
###### {{level|Блочный метод циклической редукции}}
###### {{level|Блочный метод окаймления}}
### {{level|Решения СЛАУ с матрицами специального вида, имеющими известные обратные матрицы}}
## Итерационные методы решения СЛАУ
### {{level|High Performance Conjugate Gradient (HPCG) benchmark}}
# <div id="Решения спектральных задач">'''Решения спектральных задач'''</div>
## {{level|Спектральное разложение (нахождение собственных значений и векторов)}}
### {{level|QR-алгоритм}}
### {{level|Метод Гивенса (вращений) для решения спектральной задачи у симметричных матриц}}
## {{level|Сингулярное разложение (нахождение сингулярных значений и векторов)}}
# <div id="Тесты производительности компьютеров">'''Тесты производительности компьютеров'''</div>
## {{level|High Performance Conjugate Gradient (HPCG) benchmark}}
## {{level|Linpack benchmark}}
# <div id="Преобразование Фурье">'''Преобразование Фурье'''</div>
## {{level|Быстрое преобразование Фурье для степеней двойки}}
# <div id="Алгебра многочленов">'''Алгебра многочленов'''</div>
## {{level|Схема Горнера, вещественная версия, последовательный вариант|Схема Горнера}}
# <div id="Численные методы интегрирования">'''Численные методы интегрирования'''</div>
## {{level|Квадратурные формулы}}
## {{level|Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)}}
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод прямоугольников}}
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод трапеций}}
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод парабол (метод Симпсона)}}
### {{level|Квадратурные_(кубатурные)_методы_численного_интегрирования_по_отрезку_(многомерному_кубу)#Математическое описание|Метод Гаусса}}
# <div id="Алгоритмы на графах">'''Алгоритмы на графах'''</div>
## Обход графа
### {{level|Поиск в ширину (BFS)}}
### {{level|Поиск в глубину (DFS)}}
## {{level|Поиск кратчайшего пути от одной вершины (SSSP)}}
### {{level|Поиск в ширину (BFS)}} (для невзвешенных графов)
### {{level|Алгоритм Дейкстры}}
### {{level|Алгоритм Беллмана-Форда}}
### {{level|Алгоритм Δ-шагания}}
## {{level|Поиск кратчайшего пути для всех пар вершин (APSP)}}
### {{level|Алгоритм Джонсона}}
### {{level|Алгоритм Флойда-Уоршелла}}
## {{level|Поиск транзитивного замыкания орграфа}}
### {{level|Алгоритм Пурдома}}
## {{level|Определение диаметра графа}}
## {{level|Построение минимального остовного дерева (MST)}}
### {{level|Алгоритм Борувки}}
### {{level|Алгоритм Крускала}}
### {{level|Алгоритм Прима}}
### {{level|Алгоритм GHS}}
## {{level|Поиск изоморфных подграфов}}
### {{level|Алгоритм Ульмана}}
### {{level|Алгоритм VF2}}
## {{level|Связность в графах}}
### {{level|Алгоритм Шилоаха-Вишкина поиска компонент связности}}
### {{level|Система непересекающихся множеств}}
### {{level|Алгоритм Тарьяна поиска компонент сильной связности}}
### {{level|Алгоритм DCSC поиска компонент сильной связности}}
### {{level|Алгоритм Тарьяна поиска компонент двусвязности}}
### {{level|Алгоритм Тарьяна-Вишкина поиска компонент двусвязности}}
### {{level|Алгоритм Тарьяна поиска «мостов» в графе}}
### {{level|Определение вершинной связности графа}}
### {{level|Алгоритм Габова определения рёберной связности графа}}
## {{level|Поиск максимального потока в транспортной сети}}
### {{level|Алгоритм Форда-Фалкерсона}}
### {{level|Алгоритм проталкивания предпотока}}
## {{level|Поиск потока минимальной стоимости в транспортной сети}}
## {{level|Задача о назначениях}}
### {{level|Венгерский алгоритм}}
### {{level|Алгоритм аукциона}}
### {{level|Алгоритм Гопкрофта-Карпа}}
## {{level|Вычисление betweenness centrality|Вычисление центральности вершин}}
# <div id="Алгоритмы поиска">'''Алгоритмы поиска'''</div>
## {{level|Двоичный поиск - находит элемент в отсортированном списке}}, <math>O(log(n))</math>
# <div id="Алгоритмы сортировки">'''Алгоритмы сортировки'''</div>
## {{level|Сортировка с помощью двоичного дерева}}
## {{level|Сортировка пузырьком}}
## {{level|Сортировка слиянием (последовательный и параллельный варианты)}}
# <div id="Вычислительная геометрия">'''Вычислительная геометрия'''</div>
## {{level|Поиск диаметра множества точек}}
## {{level|Построение выпуклой оболочки набора точек}}
## {{level|Триангуляция Делоне}}
## {{level|Диаграмма Вороного}}
## {{level|Принадлежность точки многоугольнику}}
## {{level|Пересечения выпуклых многоугольников}} - трудоёмкость <math>O(n_1 + n_2)</math>
## {{level|Пересечение звёздных многоугольников}} - трудоёмкость <math>O(n_1 * n_2)</math>
# <div id="Компьютерная графика">'''Компьютерная графика'''</div>
## {{level|Алгоритмы построения отрезка - алгоритмы для аппроксимации отрезка на дискретной графической поверхности}}
## {{level|Алгоритм определения видимых частей трёхмерной сцены}}
## {{level|Трассировка лучей - рендеринг реалистичных изображений}}
## {{level|Глобальное освещение - рассматривает прямое освещение и отражение от других объектов}}
# <div id="Криптографические алгоритмы">'''Криптографические алгоритмы'''</div>
# <div id="Нейронные сети">'''Нейронные сети'''</div>
# <div id="Алгоритмы оптимизации">'''Алгоритмы оптимизации'''</div>
## {{level|Линейное программирование}}
## {{level|Симплекс-метод}}
## {{level|Метод ветвей и границ (последовательный и параллельный варианты)}}
## {{level|Генетические алгоритмы}}
## {{level|Муравьиные алгоритмы}}
## {{level|Комбинированные алгоритмы}}
## {{level|Нахождение экстремума функции}}
# <div id="Алгоритмы теории игр">'''Алгоритмы теории игр'''</div>
# <div id="Алгоритмы моделирования квантовых систем">'''Алгоритмы моделирования квантовых систем'''</div>
## ''Алгоритмы моделирования квантовых вычислений''
### {{level|Однокубитное преобразование вектора-состояния}}
### {{level|Двухкубитное преобразование вектора-состояния}}
### {{level|Моделирование квантового преобразования Фурье}}
# <div id="Алгоритмы решения уравнений математической физики">'''Алгоритмы решения уравнений математической физики'''</div>
## {{level|Уравнение Пуассона, решение дискретным преобразованием Фурье}}
# <div id="Другие алгоритмы">'''Другие алгоритмы'''</div>

[[en:Algorithm classification]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-16T15:22:01Z

Kukarkin: /* Численное интегрирование функций одной переменной */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-16T15:09:26Z

Kukarkin: /* Вычислительное ядро алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Численное интегрирование функций одной переменной ====

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n C_i f(x_i).</math>

В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-16T15:03:35Z

Kukarkin: /* Вычислительное ядро алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Численное интегрирование функций одной переменной ====

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum\limits_{i=1}^n С_i f(x_i).</math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-16T14:59:18Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Численное интегрирование функций одной переменной ====

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить
: <math>I=\int\limits_a^b f(x)dx,</math>
где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

: <math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность
:<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
:<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>
где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)
:<math>I\approx(b-a)f(\frac{a+b}2)</math>
и формула трапеций (<math>n=2</math>)
:<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>
алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки
:<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>
где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона
:<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>
которую называют также формулой парабол, и формула трех восьмых
:<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>
название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки
:<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>
где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников
:<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>m</math> и оценкой погрешности
:<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>
составная формула трапеций
:<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>
с числом узлов <math>m+1</math> и оценкой погрешности
:<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>
составная формула Симпсона
:<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>
с числом узлов <math>2m+1</math> и оценкой погрешности
:<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum \limits_{i=1}^n С_i f(x_i).</math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-16T14:48:00Z

Kukarkin: /* Вычислительное ядро алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Численное интегрирование функций одной переменной ====

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка

<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>

где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)

<math>I\approx(b-a)f(\frac{a+b}2)</math>

и формула трапеций (<math>n=2</math>)

<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>

алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки

<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>

где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона

<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>

которую называют также формулой парабол, и формула трех восьмых

<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>

название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки

<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>

где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников

<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>m</math> и оценкой погрешности

<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>

составная формула трапеций

<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>

с числом узлов <math>m+1</math> и оценкой погрешности

<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>

составная формула Симпсона

<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>2m+1</math> и оценкой погрешности

<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum \limits_{i=1}^n С_i f(x_i).</math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-16T14:46:49Z

Kukarkin: /* Вычислительное ядро алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Численное интегрирование функций одной переменной ====

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка

<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>

где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)

<math>I\approx(b-a)f(\frac{a+b}2)</math>

и формула трапеций (<math>n=2</math>)

<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>

алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки

<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>

где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона

<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>

которую называют также формулой парабол, и формула трех восьмых

<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>

название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки

<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>

где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников

<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>m</math> и оценкой погрешности

<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>

составная формула трапеций

<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>

с числом узлов <math>m+1</math> и оценкой погрешности

<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>

составная формула Симпсона

<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>2m+1</math> и оценкой погрешности

<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии алгоритма представляет собой вычисление суммы
: <math>\sum \limits_{i=1}^n c_i f(x_i)</math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-16T14:44:58Z

Kukarkin: /* Вычислительное ядро алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Численное интегрирование функций одной переменной ====

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка

<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>

где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)

<math>I\approx(b-a)f(\frac{a+b}2)</math>

и формула трапеций (<math>n=2</math>)

<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>

алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки

<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>

где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона

<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>

которую называют также формулой парабол, и формула трех восьмых

<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>

название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки

<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>

где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников

<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>m</math> и оценкой погрешности

<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>

составная формула трапеций

<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>

с числом узлов <math>m+1</math> и оценкой погрешности

<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>

составная формула Симпсона

<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>2m+1</math> и оценкой погрешности

<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_{i=1}1^n c_i f(x_i)</math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f(x)</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-16T14:39:45Z

Kukarkin: /* Математическое описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Численное интегрирование функций одной переменной ====

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка

<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>

где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)

<math>I\approx(b-a)f(\frac{a+b}2)</math>

и формула трапеций (<math>n=2</math>)

<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>

алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки

<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>

где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона

<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>

которую называют также формулой парабол, и формула трех восьмых

<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>

название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки

<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>

где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников

<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>m</math> и оценкой погрешности

<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>

составная формула трапеций

<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>

с числом узлов <math>m+1</math> и оценкой погрешности

<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>

составная формула Симпсона

<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>2m+1</math> и оценкой погрешности

<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Исходные данные: функция <math>f(x)</math> и два одномерных массива <math>n</math> чисел: массив узлов и массив коэффициентов.

Вычисляемые данные: число, являющееся значением квадратурной суммы и представляющее собой приближенное значение интеграла.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-16T14:20:17Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

==== Численное интегрирование функций одной переменной ====

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка

<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>

где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

==== Формулы Ньютона-Котеса ====

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)

<math>I\approx(b-a)f(\frac{a+b}2)</math>

и формула трапеций (<math>n=2</math>)

<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>

алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки

<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>

где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона

<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>

которую называют также формулой парабол, и формула трех восьмых

<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>

название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки

<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>

где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>1\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы задавались равноотстоящими.

==== Составные квадратурные формулы ====

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников

<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>m</math> и оценкой погрешности

<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>

составная формула трапеций

<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>

с числом узлов <math>m+1</math> и оценкой погрешности

<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>

составная формула Симпсона

<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>2m+1</math> и оценкой погрешности

<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значение координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности.
По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников'': функция для заданного отрезка приближается константной функцией, тем самым, интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина:
: <math>\int\limits_a^b f(x)\,dx \approx f((a+b)/2) (b-a)</math>

''Метод трапеций''<nowiki>:</nowiki> <math>f(x)</math> приближается линейной функцией, тем самым, интеграл приближается усредненным значением по краям отрезка:
: <math>\int\limits_a^b f(x)\,dx \approx (f(a) + f(b)) (b-a)/2</math>

''Метод парабол (метод Симпсона)''<nowiki>:</nowiki> <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{6}\left(f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right)</math>

''Метод Гаусса''<nowiki>:</nowiki> <math>f(x)</math> приближается прямой как в методе трапеций, однако в качестве точек можно выбирать не только концы отрезка, что позволяет увеличить точность:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{2}\left(f\left(\frac{a+b}{2} - \frac{b-a}{2\sqrt{3}} \right)+f\left(\frac{a+b}{2} + \frac{b-a}{2\sqrt{3}} \right) \right)</math>

В двумерном случае можно применять метод прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерном случае также можно использовать метод Гаусса, однако для больших размерностей не остается методов, способных конкурировать по эффективности с методом прямоугольников.

Так или иначе, на подготовительной стадии определяется <math>M</math> наборов координат <math>{x_{1,i}, \ldots, x_{n,i}}</math>, <math>i=1,\ldots,M</math>, в которых вычисляется функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будет умножено значение этой функции, после чего управление будет передано вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-15T18:44:38Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''Численное интегрирование функций одной переменной''

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).</math>

Сумма в правой части называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка

<math>|R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>

где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула с <math>n</math> узлами является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

''Формулы Ньютона-Котеса''

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых заданы равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Свое название эти формулы получили в память того, что они в достаточно общей форме были рассмотрены Исааком Ньютоном, а их коэффициенты при <math>1\le n\le 10</math> были найдены Роджером Котесом.

Наиболее известными формулами Ньютона-Котеса являются формула средних прямоугольников (<math>n=1</math>)

<math>I\approx(b-a)f(\frac{a+b}2)</math>

и формула трапеций (<math>n=2</math>)

<math>I\approx\frac{b-a}2\,(f(a)+f(b));</math>

алгебраическая степень точности каждой из них равна 1, а для их погрешностей справедливы оценки

<math>|R_1(f)|\le\frac{M_2}{24}\,(b-a)^3,\quad |R_2(f)|\le\frac{M_2}{12}\,(b-a)^3,</math>

где <math>M_2=\max\limits_{x\in[a,b]}|f^{\prime\prime}(x)|</math>.

Формулами Ньютона-Котеса при <math>n=3</math> и <math>n=4</math> являются формула Симпсона

<math>I\approx\frac{b-a}6\,(f(a)+4f(\frac{a+b}2)+f(b)),</math>

которую называют также формулой парабол, и формула трех восьмых

<math>I\approx\frac{b-a}{8}\,(f(a)+3f(\frac{2a+b}3)+3f(\frac{a+2b}3)+f(b)),</math>

название которой происходит от коэффициента 3/8; алгебраическая степень точности каждой из них равна 3, а для их погрешностей справедливы оценки

<math>|R_3(f)|\le\frac{M_4}{2880}\,(b-a)^5,\quad |R_4(f)|\le\frac{M_4}{6480}\,(b-a)^5,</math>

где <math>M_4=\max\limits_{x\in[a,b]}|f^{(4)}(x)|</math>.

Алгебраическая степень точности формулы Ньютона-Котеса с <math>n</math> узлами равна <math>n-1</math> при четном <math>n</math> и равна <math>n</math> при нечетном <math>n</math>.

Коэффициенты формул Ньютона-Котеса положительны при <math>2\le n\le8</math> и <math>n=10</math>, а при <math>n=9</math> и <math>n\ge11</math> среди коэффициентов имеются как положительные так и отрицательные.

Положительность коэффициентов квадратурной формулы важна для ее практического применения. Дело в том, что при вычислении интегральной суммы влияние погрешностей округления на точность результата тем сильнее, чем больше <math>\sum\limits_{i=1}^n |C_i|</math>. Для формул Ньютона-Котеса эта сумма неограниченно возрастает при <math>n\to\infty</math>. Поэтому при больших <math>n</math> формулы Ньютона-Котеса оказываются практически непригодными.

Таким образом, для того чтобы использовать квадратурные формулы с большим числом узлов, нужно отказаться или от того, чтобы квадратурная формула была интерполяционной, или от того, чтобы узлы выбирались равноотстоящими.

''Составные квадратурные формулы''

Составными называются квадратурные формулы, построение которых осуществляется следующим образом. Отрезок интегрирования <math>[a,b]</math> разбивается на <math>m</math> отрезков равной длины <math>h=\dfrac{b-a}m</math>. Тогда по свойству аддитивности интеграл может быть вычислен как сумма интегралов по отрезкам разбиения. Для приближенного вычисления каждого из слагаемых этой суммы применяется одна и та же квадратурная формула, называемая исходной.

Алгебраическая степень точности составной квадратурной формулы совпадает с алгебраической степенью точности исходной.

Если в качестве исходной квадратурной формулы выбрать формулу средних прямоугольников, формулу трапеций или формулу Симпсона, то будут получены следующие составные квадратурные формулы:

составная формула средних прямоугольников

<math>I\approx h\,(\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>m</math> и оценкой погрешности

<math>|R_m(f)|\le\frac{M_2}{24}\,(b-a)h^2,</math>

составная формула трапеций

<math>I\approx \frac{h}{2}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih))</math>

с числом узлов <math>m+1</math> и оценкой погрешности

<math>|R_{m+1}(f)|\le\frac{M_2}{12}\,(b-a)h^2,</math>

составная формула Симпсона

<math>I\approx \frac{h}{6}\,(f(a)+f(b)+2\sum\limits_{i=1}^{m-1}f(a+ih)+4\sum\limits_{i=1}^m f(a+ih-\frac{h}{2}))</math>

с числом узлов <math>2m+1</math> и оценкой погрешности

<math>|R_{2m+1}(f)|\le\frac{M_4}{2880}\,(b-a)h^4.</math>

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Продположим, что нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом: (лат. quadratura — придание квадратной формы), 1) число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные методы: метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет никаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится на не равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить подынтегральное выражение и помножить его на весовой коэффициент, затем данные числа складываются, и в итоге, полученная сумма представляет собой результат интегрирования. Погрешность интегрирования оценивается точно таким же образом.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значение координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности.
По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников'': функция для заданного отрезка приближается константной функцией, тем самым, интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина:
: <math>\int\limits_a^b f(x)\,dx \approx f((a+b)/2) (b-a)</math>

''Метод трапеций''<nowiki>:</nowiki> <math>f(x)</math> приближается линейной функцией, тем самым, интеграл приближается усредненным значением по краям отрезка:
: <math>\int\limits_a^b f(x)\,dx \approx (f(a) + f(b)) (b-a)/2</math>

''Метод парабол (метод Симпсона)''<nowiki>:</nowiki> <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{6}\left(f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right)</math>

''Метод Гаусса''<nowiki>:</nowiki> <math>f(x)</math> приближается прямой как в методе трапеций, однако в качестве точек можно выбирать не только концы отрезка, что позволяет увеличить точность:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{2}\left(f\left(\frac{a+b}{2} - \frac{b-a}{2\sqrt{3}} \right)+f\left(\frac{a+b}{2} + \frac{b-a}{2\sqrt{3}} \right) \right)</math>

В двумерном случае можно применять метод прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерном случае также можно использовать метод Гаусса, однако для больших размерностей не остается методов, способных конкурировать по эффективности с методом прямоугольников.

Так или иначе, на подготовительной стадии определяется <math>M</math> наборов координат <math>{x_{1,i}, \ldots, x_{n,i}}</math>, <math>i=1,\ldots,M</math>, в которых вычисляется функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будет умножено значение этой функции, после чего управление будет передано вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-15T11:20:42Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''Численное интегрирование функций одной переменной''

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).\qquad(1)</math>

Сумма в правой части (1) называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Для погрешности интерполяционной квадратурной формулы справедлива оценка

<math>|\,R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx,</math>

где <math>M_n=\max\limits_{x\in[a,b]}|f^{(n)}(x)|</math>, <math>\omega_n(x)=\prod\limits_{i=1}^n (x-x_i)</math>.

Квадратурная формула (1) является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

''Формулы Ньютона-Котеса''

Формулами Ньютона-Котеса называются интерполяционные квадратурные формулы, <math>n</math> узлов которых выбраны равноотстоящими: <math>x_1=\frac{b-a}2</math> при <math>n=1</math> и <math>x_i=a+(i-1)\frac{b-a}{n-1}, 1\le i \le n</math>
при <math>n>1</math>.

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Продположим, что нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом: (лат. quadratura — придание квадратной формы), 1) число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные методы: метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет никаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится на не равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить подынтегральное выражение и помножить его на весовой коэффициент, затем данные числа складываются, и в итоге, полученная сумма представляет собой результат интегрирования. Погрешность интегрирования оценивается точно таким же образом.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значение координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности.
По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников'': функция для заданного отрезка приближается константной функцией, тем самым, интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина:
: <math>\int\limits_a^b f(x)\,dx \approx f((a+b)/2) (b-a)</math>

''Метод трапеций''<nowiki>:</nowiki> <math>f(x)</math> приближается линейной функцией, тем самым, интеграл приближается усредненным значением по краям отрезка:
: <math>\int\limits_a^b f(x)\,dx \approx (f(a) + f(b)) (b-a)/2</math>

''Метод парабол (метод Симпсона)''<nowiki>:</nowiki> <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{6}\left(f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right)</math>

''Метод Гаусса''<nowiki>:</nowiki> <math>f(x)</math> приближается прямой как в методе трапеций, однако в качестве точек можно выбирать не только концы отрезка, что позволяет увеличить точность:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{2}\left(f\left(\frac{a+b}{2} - \frac{b-a}{2\sqrt{3}} \right)+f\left(\frac{a+b}{2} + \frac{b-a}{2\sqrt{3}} \right) \right)</math>

В двумерном случае можно применять метод прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерном случае также можно использовать метод Гаусса, однако для больших размерностей не остается методов, способных конкурировать по эффективности с методом прямоугольников.

Так или иначе, на подготовительной стадии определяется <math>M</math> наборов координат <math>{x_{1,i}, \ldots, x_{n,i}}</math>, <math>i=1,\ldots,M</math>, в которых вычисляется функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будет умножено значение этой функции, после чего управление будет передано вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-15T09:06:28Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''Численное интегрирование функций одной переменной''

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).\qquad(1)</math>

Сумма в правой части (1) называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i</math>; такие квадратурные формулы называются интерполяционными.

Квадратурная формула (1) является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
$$|\,R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx.$$

Продположим, что нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом: (лат. quadratura — придание квадратной формы), 1) число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные методы: метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет никаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится на не равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить подынтегральное выражение и помножить его на весовой коэффициент, затем данные числа складываются, и в итоге, полученная сумма представляет собой результат интегрирования. Погрешность интегрирования оценивается точно таким же образом.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значение координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности.
По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников'': функция для заданного отрезка приближается константной функцией, тем самым, интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина:
: <math>\int\limits_a^b f(x)\,dx \approx f((a+b)/2) (b-a)</math>

''Метод трапеций''<nowiki>:</nowiki> <math>f(x)</math> приближается линейной функцией, тем самым, интеграл приближается усредненным значением по краям отрезка:
: <math>\int\limits_a^b f(x)\,dx \approx (f(a) + f(b)) (b-a)/2</math>

''Метод парабол (метод Симпсона)''<nowiki>:</nowiki> <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{6}\left(f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right)</math>

''Метод Гаусса''<nowiki>:</nowiki> <math>f(x)</math> приближается прямой как в методе трапеций, однако в качестве точек можно выбирать не только концы отрезка, что позволяет увеличить точность:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{2}\left(f\left(\frac{a+b}{2} - \frac{b-a}{2\sqrt{3}} \right)+f\left(\frac{a+b}{2} + \frac{b-a}{2\sqrt{3}} \right) \right)</math>

В двумерном случае можно применять метод прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерном случае также можно использовать метод Гаусса, однако для больших размерностей не остается методов, способных конкурировать по эффективности с методом прямоугольников.

Так или иначе, на подготовительной стадии определяется <math>M</math> наборов координат <math>{x_{1,i}, \ldots, x_{n,i}}</math>, <math>i=1,\ldots,M</math>, в которых вычисляется функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будет умножено значение этой функции, после чего управление будет передано вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-15T09:03:51Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''Численное интегрирование функций одной переменной''

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).\qquad(1)</math>

Сумма в правой части (1) называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

Широко известны квадратурные формулы, полученные посредством замены подынтегральной функции <math>f(x)</math> алгебраическим интерполяционным многочленом, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_i; такие квадратурные формулы называются интерполяционными.

Квадратурная формула (1) является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

Для погрешности интерполяционной квадратурной формулы справедлива оценка
$$|\,R_n(f)|\le\frac{M_n}{n!}\int\limits_a^b|\,\omega_n(x)|\,dx.$$

Продположим, что нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом: (лат. quadratura — придание квадратной формы), 1) число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные методы: метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет никаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится на не равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить подынтегральное выражение и помножить его на весовой коэффициент, затем данные числа складываются, и в итоге, полученная сумма представляет собой результат интегрирования. Погрешность интегрирования оценивается точно таким же образом.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значение координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности.
По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников'': функция для заданного отрезка приближается константной функцией, тем самым, интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина:
: <math>\int\limits_a^b f(x)\,dx \approx f((a+b)/2) (b-a)</math>

''Метод трапеций''<nowiki>:</nowiki> <math>f(x)</math> приближается линейной функцией, тем самым, интеграл приближается усредненным значением по краям отрезка:
: <math>\int\limits_a^b f(x)\,dx \approx (f(a) + f(b)) (b-a)/2</math>

''Метод парабол (метод Симпсона)''<nowiki>:</nowiki> <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{6}\left(f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right)</math>

''Метод Гаусса''<nowiki>:</nowiki> <math>f(x)</math> приближается прямой как в методе трапеций, однако в качестве точек можно выбирать не только концы отрезка, что позволяет увеличить точность:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{2}\left(f\left(\frac{a+b}{2} - \frac{b-a}{2\sqrt{3}} \right)+f\left(\frac{a+b}{2} + \frac{b-a}{2\sqrt{3}} \right) \right)</math>

В двумерном случае можно применять метод прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерном случае также можно использовать метод Гаусса, однако для больших размерностей не остается методов, способных конкурировать по эффективности с методом прямоугольников.

Так или иначе, на подготовительной стадии определяется <math>M</math> наборов координат <math>{x_{1,i}, \ldots, x_{n,i}}</math>, <math>i=1,\ldots,M</math>, в которых вычисляется функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будет умножено значение этой функции, после чего управление будет передано вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-14T13:18:35Z

Kukarkin: /* Свойства и структура алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''Численное интегрирование функций одной переменной''

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).\qquad(1)</math>

Сумма в правой части (1) называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>. При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

''Интерполяционные квадратурные формулы''

Широкое распространение получили квадратурные формулы, построение которых основано на замене подынтегральной функции <math>f(x)</math> ее алгебраическим интерполяционным многочленом <math>L_{n-1}(x)</math>, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_1,\ldots,x_n</math>; такие квадратурные формулы называются интерполяционными.

Квадратурная формула (1) является интерполяционной тогда и только тогда, когда для ее алгебраической степени точности <math>k</math> выполняется неравенство <math>k\ge n-1</math>.

Продположим, что нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом: (лат. quadratura — придание квадратной формы), 1) число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные методы: метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет никаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится на не равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить подынтегральное выражение и помножить его на весовой коэффициент, затем данные числа складываются, и в итоге, полученная сумма представляет собой результат интегрирования. Погрешность интегрирования оценивается точно таким же образом.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значение координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности.
По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников'': функция для заданного отрезка приближается константной функцией, тем самым, интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина:
: <math>\int\limits_a^b f(x)\,dx \approx f((a+b)/2) (b-a)</math>

''Метод трапеций''<nowiki>:</nowiki> <math>f(x)</math> приближается линейной функцией, тем самым, интеграл приближается усредненным значением по краям отрезка:
: <math>\int\limits_a^b f(x)\,dx \approx (f(a) + f(b)) (b-a)/2</math>

''Метод парабол (метод Симпсона)''<nowiki>:</nowiki> <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{6}\left(f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right)</math>

''Метод Гаусса''<nowiki>:</nowiki> <math>f(x)</math> приближается прямой как в методе трапеций, однако в качестве точек можно выбирать не только концы отрезка, что позволяет увеличить точность:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{2}\left(f\left(\frac{a+b}{2} - \frac{b-a}{2\sqrt{3}} \right)+f\left(\frac{a+b}{2} + \frac{b-a}{2\sqrt{3}} \right) \right)</math>

В двумерном случае можно применять метод прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерном случае также можно использовать метод Гаусса, однако для больших размерностей не остается методов, способных конкурировать по эффективности с методом прямоугольников.

Так или иначе, на подготовительной стадии определяется <math>M</math> наборов координат <math>{x_{1,i}, \ldots, x_{n,i}}</math>, <math>i=1,\ldots,M</math>, в которых вычисляется функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будет умножено значение этой функции, после чего управление будет передано вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-14T12:47:23Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''Численное интегрирование функций одной переменной''

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

{{NumBlk|:|<math>I\approx\sum\limits_{i=1}^n C_i f(x_i).\num (1)</math>|{{EquationRef|1}}}}

Сумма в правой части ({{EquationNote|1}}) называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>.При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

''Интерполяционные квадратурные формулы''

Широкое распространение получили квадратурные формулы, построение которых основано на замене подынтегральной функции <math>f(x)</math> ее алгебраическим интерполяционным многочленом <math>L_{n-1}(x)</math>, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_1,\ldots,x_n</math>; такие квадратурные формулы называются интерполяционными.

Продположим, что нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом: (лат. quadratura — придание квадратной формы), 1) число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные методы: метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет никаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится на не равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить подынтегральное выражение и помножить его на весовой коэффициент, затем данные числа складываются, и в итоге, полученная сумма представляет собой результат интегрирования. Погрешность интегрирования оценивается точно таким же образом.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значение координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности.
По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников'': функция для заданного отрезка приближается константной функцией, тем самым, интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина:
: <math>\int\limits_a^b f(x)\,dx \approx f((a+b)/2) (b-a)</math>

''Метод трапеций''<nowiki>:</nowiki> <math>f(x)</math> приближается линейной функцией, тем самым, интеграл приближается усредненным значением по краям отрезка:
: <math>\int\limits_a^b f(x)\,dx \approx (f(a) + f(b)) (b-a)/2</math>

''Метод парабол (метод Симпсона)''<nowiki>:</nowiki> <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{6}\left(f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right)</math>

''Метод Гаусса''<nowiki>:</nowiki> <math>f(x)</math> приближается прямой как в методе трапеций, однако в качестве точек можно выбирать не только концы отрезка, что позволяет увеличить точность:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{2}\left(f\left(\frac{a+b}{2} - \frac{b-a}{2\sqrt{3}} \right)+f\left(\frac{a+b}{2} + \frac{b-a}{2\sqrt{3}} \right) \right)</math>

В двумерном случае можно применять метод прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерном случае также можно использовать метод Гаусса, однако для больших размерностей не остается методов, способных конкурировать по эффективности с методом прямоугольников.

Так или иначе, на подготовительной стадии определяется <math>M</math> наборов координат <math>{x_{1,i}, \ldots, x_{n,i}}</math>, <math>i=1,\ldots,M</math>, в которых вычисляется функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будет умножено значение этой функции, после чего управление будет передано вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-14T11:48:10Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''Численное интегрирование функций одной переменной''

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i). (1)</math>

Сумма в правой части (1) называется квадратурной суммой, различные точки <math>x_i</math> отрезка <math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Значение квадратурной суммы, принимаемое за приближенное значение интеграла, зависит от выбора узлов <math>x_i</math> и коэффициентов <math>C_i</math>.При вычислении значения квадратурной суммы основные временные затраты приходятся на вычисление значений подынтегральной функции в узлах.

Погрешностью квадратурной формулы называется разность

<math>R_n(f)=\int\limits_a^b\!f(x)\,dx-\sum\limits_{i=1}^n C_if(x_i).</math>

Если функция <math>f(x)</math> такова, что <math>R_n(f)=0</math>, то говорят,что квадратурная формула точна для функции <math>f(x)</math>.

Целое число <math>k\ge0</math> называется алгебраической степенью точности квадратурной формулы, если квадратурная формула точна для любого многочлена степени не выше <math>k</math> и не точна для многочлена степени <math>k+1</math>.

Если квадратурная формула выбрана, то алгоритм приближенного вычисления интеграла состоит в вычислении квадратурной суммы, т.е. в вычислении значений функции в <math>n</math> узлах, умножении их на соответствующие коэффициенты и суммировании полученных чисел.

''Интерполяционные квадратурные формулы''

Широкое распространение получили квадратурные формулы, построение которых основано на замене подынтегральной функции <math>f(x)</math> ее алгебраическим интерполяционным многочленом <math>L_{n-1}(x)</math>, значения которого совпадают со значениями функции в <math>n</math> узлах <math>x_1,\ldots,x_n</math>; такие квадратурные формулы называются интерполяционными.

Продположим, что нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом: (лат. quadratura — придание квадратной формы), 1) число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные методы: метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет никаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится на не равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить подынтегральное выражение и помножить его на весовой коэффициент, затем данные числа складываются, и в итоге, полученная сумма представляет собой результат интегрирования. Погрешность интегрирования оценивается точно таким же образом.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значение координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности.
По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников'': функция для заданного отрезка приближается константной функцией, тем самым, интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина:
: <math>\int\limits_a^b f(x)\,dx \approx f((a+b)/2) (b-a)</math>

''Метод трапеций''<nowiki>:</nowiki> <math>f(x)</math> приближается линейной функцией, тем самым, интеграл приближается усредненным значением по краям отрезка:
: <math>\int\limits_a^b f(x)\,dx \approx (f(a) + f(b)) (b-a)/2</math>

''Метод парабол (метод Симпсона)''<nowiki>:</nowiki> <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{6}\left(f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right)</math>

''Метод Гаусса''<nowiki>:</nowiki> <math>f(x)</math> приближается прямой как в методе трапеций, однако в качестве точек можно выбирать не только концы отрезка, что позволяет увеличить точность:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{2}\left(f\left(\frac{a+b}{2} - \frac{b-a}{2\sqrt{3}} \right)+f\left(\frac{a+b}{2} + \frac{b-a}{2\sqrt{3}} \right) \right)</math>

В двумерном случае можно применять метод прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерном случае также можно использовать метод Гаусса, однако для больших размерностей не остается методов, способных конкурировать по эффективности с методом прямоугольников.

Так или иначе, на подготовительной стадии определяется <math>M</math> наборов координат <math>{x_{1,i}, \ldots, x_{n,i}}</math>, <math>i=1,\ldots,M</math>, в которых вычисляется функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будет умножено значение этой функции, после чего управление будет передано вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]

Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)

2015-12-14T10:25:33Z

Kukarkin: /* Общее описание алгоритма */

Основные авторы описания: [[Участник:Sander|А.В.Смирнов]]

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===

''Численное интегрирование функций одной переменной''

Задача одномерного численного интегрирования состоит в приближенном вычислении определенного интеграла по отрезку: требуется вычислить

<math>I=\int\limits_a^b f(x)dx,</math>

где <math>f(x)</math> - интегрируемая функция, определенная на отрезке <math>[a,b]</math>.

Численное интегрирование оcуществляется с помощью квадратурных формул - приближенных равенств вида

<math>I\approx\sum\limits_{i=1}^n C_i f(x_i). (1)</math>

Сумма в правой части (1) называется квадратурной суммой, различные точки <math>x_i</math> отрезка
<math>[a,b]</math> называются узлами, а числа <math>C_i</math> - коэффициентами квадратурной формулы.

Продположим, что нам дана функция <math>f(x)</math>, определенная на отрезке или многомерном кубе, и возможность получать ее численное значение в любой из точек области определения за фиксированное время. Задача — вычислить определенный интеграл данной функции по заданной области и дать оценку погрешности вычисления.

Исторически численное интегрирование также называлось численной квадратурой, а многомерное — кубатурой. Большая советская энциклопедия определяет слово «квадратура» следующим способом: (лат. quadratura — придание квадратной формы), 1) число квадратных единиц в площади данной фигуры. 2) Построение квадрата, равновеликого данной фигуре. 3) Вычисление площади или интеграла.

В данной статье рассматривается семейство методов численного интегрирования, объединенных общим принципом: область интегрирования разбивается по каждой из осей на равное количество частей. В каждой из полученных маленьких областей интеграл приближается простой функцией (например, линейной), значение которой вычисляется явно (путем вычисления подынтегрального выражения в одной или нескольких точках). Ввиду линейности оператора интегрирования по областям полученные значения суммируются и представляют собой результат интегрирования.

К данному типу относятся одномерные методы: метод прямоугольников, метод трапеций, метод парабол (метод Симпсона), метод Гаусса, метод Гаусса-Кронрода. Часть перечисленных методов обобщается и для многомерного случая. Обобщенно все эти методы называются квадратурными. В многомерном случае они также могут называться кубатурными (это слово не несет никаких дополнительных смыслов). Также говорится, что перечисленные методы используют квадратурные (кубатурные) формулы.

Подходы, в которых область делится на не равные друг другу отрезки (кубы), называются адаптивными и не рассматриваются к данной статье.

Все перечисленные выше методы, а также подобные им могут быть объединены следующим образом: область интегрирования содержит <math>M</math> точек, в каждой из которых необходимо вычислить подынтегральное выражение и помножить его на весовой коэффициент, затем данные числа складываются, и в итоге, полученная сумма представляет собой результат интегрирования. Погрешность интегрирования оценивается точно таким же образом.

=== Математическое описание алгоритма ===

Исходные данные: функция <math>f</math> от <math>n</math> переменных, границы области интегрирования, представляющей собой многомерный куб (по каждой из осей интегрирования заданы минимальное и максимальное значение координаты), максимальное число <math>M</math> точек, в которых можно вычислить функцию <math>f</math>.

Вычисляемые данные: число, представляющее собой приближенное значение интеграла и, если это позволяет выбранный метод, число, представляющее собой оценку погрешности.
По количеству точек <math>M</math> и методу интегрирования определяются размеры прямоугольных параллелепипедов, на которые разбивается область интегрирования. В каждом из параллелепипедов в зависимости от выбора метода определяются свои точки для вычисления функции <math>f</math> и весовые коэффициенты.

Наибольшее разнообразие выбора методов достигается в одномерном случае.

''Метод прямоугольников'': функция для заданного отрезка приближается константной функцией, тем самым, интеграл приближается значением функции в одной точке. Обычно в качестве этой точки используется граница отрезка или, лучше, его середина:
: <math>\int\limits_a^b f(x)\,dx \approx f((a+b)/2) (b-a)</math>

''Метод трапеций''<nowiki>:</nowiki> <math>f(x)</math> приближается линейной функцией, тем самым, интеграл приближается усредненным значением по краям отрезка:
: <math>\int\limits_a^b f(x)\,dx \approx (f(a) + f(b)) (b-a)/2</math>

''Метод парабол (метод Симпсона)''<nowiki>:</nowiki> <math>f(x)</math> приближается параболой, пересекающей график функции на краях отрезка и в его середине:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{6}\left(f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right)</math>

''Метод Гаусса''<nowiki>:</nowiki> <math>f(x)</math> приближается прямой как в методе трапеций, однако в качестве точек можно выбирать не только концы отрезка, что позволяет увеличить точность:
: <math>\int\limits_a^b f(x)\,dx \approx \frac{b-a}{2}\left(f\left(\frac{a+b}{2} - \frac{b-a}{2\sqrt{3}} \right)+f\left(\frac{a+b}{2} + \frac{b-a}{2\sqrt{3}} \right) \right)</math>

В двумерном случае можно применять метод прямоугольников (вычисление в центре квадрата), метод трапеций (в углах квадрата), а также двумерный метод Гаусса. В трехмерном случае также можно использовать метод Гаусса, однако для больших размерностей не остается методов, способных конкурировать по эффективности с методом прямоугольников.

Так или иначе, на подготовительной стадии определяется <math>M</math> наборов координат <math>{x_{1,i}, \ldots, x_{n,i}}</math>, <math>i=1,\ldots,M</math>, в которых вычисляется функция <math>f</math> и набор весовых коэффициентов <math>c_i</math>, на которые будет умножено значение этой функции, после чего управление будет передано вычислительному ядру алгоритма.

=== Вычислительное ядро алгоритма ===

Вычислительное ядро последовательной версии любого из квадратурных методов численного интегрирования представляет собой вычисление суммы
: <math>\sum \limits_1^M c_i f(x_{1,i}, \ldots, x_{n,i}) </math>
В реальных примерах эффективность алгоритма определяется именно эффективностью вычисления функции <math>f</math>, т.к. затраты времени на её вычисление гораздо больше времени на соответствующие операции суммирования и умножения.

=== Макроструктура алгоритма ===

Начальная стадия работы алгоритма заключается в том, что по выбранному методу, координатам, ограничивающим область интегрирования, и максимальному число точек, в которых должно производиться вычисление функции, определяется набор точек для этих вычислений. Время, требуемое на эту операцию, оценивается константой.

=== Схема реализации последовательного алгоритма ===

Формулы для реализации алгоритмы были приведены выше. В цикле обходятся все необходимые точки, и в них происходит вычисление значения функции. Результаты вычисления умножаются на весовые коэффициенты и складываются.
При последовательной реализации алгоритма для экономии памяти можно не генерировать сразу весь массив точек, в которых должна быть вычислена функция, а получать их последовательно.

=== Последовательная сложность алгоритма ===

Общее время, затрачиваемое на вычисление функции растет примерно как <math>tM</math>, где <math>t</math> — время, необходимое на однократное вычислении функции <math>f</math>, а <math>M</math> — количество точек, в которых вычисляется функция <math>f</math>. Таким образом, алгоритм является линейным относительно количества точек интегрирования.

=== Информационный граф ===

Граф алгоритма интегрирования можно описать аналитически, а также представить его в виде рисунка.

Граф алгоритма состоит из трех групп вершин. Вершины на верхнем ярусе берут в качестве входных данных координаты и вычисляют по ним значение функции <math>f</math>. Вершины на втором ярусе умножают полученное значение на соответствующий весовой коэффициент. Вершины на третьем ярусе поочередно складывают полученные значения; результат сложения относится к выходным данным.

[[Image:Cubature.png|center|thumb|800px|Рисунок 1. Квадратурные (кубатурные) методы численного интегрирования по отрезку (многомерному кубу)]]

=== Ресурс параллелизма алгоритма ===

Для вычисления методом кубатур интеграла функции необходимо последовательно выполнить следующие ярусы алгоритма:

* Вычисление исходной функции <math>f</math>, производящееся независимо для различных точек и выполняющееся за близкое к константному время <math>t</math>, эта операция является основной вычислительной часть алгоритма.

* Умножение полученных результатов на соответствующие весовые коэффициенты.

* Сложение полученных результатов.

В общем случае время, затрачиваемое на сложение или умножение пренебрежимо мало по сравнением со временем на вычисление функции <math>f</math>, а все вычисления функции <math>f</math> могут производиться на различных вычислительных узлах, тем самым, задача вычисления интеграла методом кубатур идеально подходит для параллельной реализации. Однако при значительном увеличении количества узлов (в случае, когда оно становится сравнимым с количеством точек, в которых вычисляется функция), ресурс параллелизма может быть ограничен накладными расходами, такими как передача исходного выражения на каждый из вычислительных узлов.

Таким образом, до тех пор, пока количество вычислительных узлов не превышает количества точек, в которых должно быть произведено интегрирование, алгоритм выполняется за около константное время. Однако, в реальных вычислениях обычно требуется значительно большее количество точек интегрирования (измеряемое миллионами), чем количество вычислительных узлов, которые можно задействовать, и в таком случае сложность алгоритма является линейной. В этом случае алгоритм распараллеливается идеально.

=== Входные и выходные данные алгоритма ===

Входными данными для алгоритма являются размерность <math>n</math>, границы интегрирования (два массива длины <math>n</math>), ограничение <math>M</math> на количество точек интегрирования, выбор метода интегрирования и функция <math>f</math> — подынтегральное выражение. Она обычно задается в виде функции, написанной на используемом языке программирования или же в строковом виде, если реализация алгоритма имеет встроенный аналог компилятора, работающий с используемым классом функций.

К входным данными для вычислительного ядра алгоритма относится функция <math>f</math> и массив длины <math>M</math>, содержащий точки, в которых должно быть произведено вычисление.

Выходными данными является число - результат интегрирования и, возможно, второе число, представляющее собой оценку погрешности.

=== Свойства алгоритма ===

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является линейным (отношение линейной сложности к константной). В данной оценке предполагается, что накладные расходы пренебрежимо малы по отношению к вычислению подынтегрального выражения.

При этом сложность ядра алгоритма относительно объема входных данных также является линейной. При лимитированных ресурсах как параллельная реализация, так и последовательная реализация имеют линейную сложность относительно количества точек интегрирования. Однако, константа, представляющая собой отношение затрачиваемого в параллельной и последовательной реализациях времени, может быть весьма значительной и приближаться к количеству доступных узлов.

Алгоритм является почти полностью детерминированным — выбор точек интегрирования полностью определяется выбором метода и ограничением на их количество. Использование иного порядка суммирования конечных результатов может приводить к накоплению ошибок округления, однако обычно его влияние незначительно по сравнению с оценкой ошибки, представляемой алгоритмом. Дуги информационного графа являются полностью локальными.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

В простейшем варианте вычислительное ядро метода на Фортране можно записать следующим образом:

<source lang="fortran">
double::res
DO I = 1, M
double::a = f(x(I))
res = res + a
END DO
</source>

=== Локальность данных и вычислений ===

Локальность операций существенно определяется реализацией вычисления функции <math>f</math>. Если рассматривать ее вычисление как «черный ящик», то забота об эффективном использовании подсистемы памяти полностью перекладывается на его готовую реализацию.

=== Возможные способы и особенности реализации параллельного алгоритма ===

Самым естественным способом реализации параллельного алгоритма является независимое вычислении функции <math>f</math> в заданных точках различными вычислительными узлами. Это может быть реализовано как при помощи технологии threads или OpenMP при запуске на одном узле, так и, например, при использовании межпроцессорных обменов при помощи MPI. Головной узел передает остальным вычислительным узлам "определение" функции <math>f</math>, и затем раздает подчиненным узлам точки, в которых должна вычисляться функция. Для оптимизации процесса коммуникации возможно организовать передачу сразу наборов точек.

Представляется также возможным одновременное вычисление нескольких значений функции одним узлом, однако такой подход требует адаптации самого алгоритма вычисления функции <math>f</math> и не всегда является применимым. Например, использование команд типа AVX для микропроцессоров позволяет выполнять по 4 сложения или умножения за один такт работы процессора, однако так могут складываться лишь последовательно расположенные вещественные числа. Однако использование подобных ускорителей или, скажем, перевод алгоритма на использование графических процессоров, безусловно требует модификации самого алгоритма вычисления функции <math>f</math> и уточнения класса функций, для которых будет применяться данная реализация.

=== Масштабируемость алгоритма и его реализации ===

Теоретические оценки показывают, что алгоритм должен быть превосходно масштабируем. Для демонстрации этого утверждения на конкретном примере, в НИВЦ МГУ была создана реализация алгоритма интегрирования методом прямоугольников. В качестве тестового примера рассматривалось трехмерное интегрирование. Поскольку в задачи не входила оценка сложности вычисления той или иной функции от трех переменных, было выбрано простейшее подынтегральное выражение <math>x_1^2+x_2^2+x_3^3</math>. Однако такая функция является слишком простой и нетипичной для тех примеров, на которых обычно применяется алгоритм. Поэтому для демонстрации масштабируемости алгоритма на достаточно сложных примерах при вычислении функции в одной точке была заложена пауза длительностью в 0.01 секунды (для типичных примеров длительность может существенно превышать это время, однако и оно оказалось достаточным для проведения демонстрации масштабируемости).

В качестве метода распараллеливания данный алгоритм использует технологию MPI. Тесты проводились на суперкомпьютере [http://parallel.ru/cluster/superinfo Ломоносов]. Для демонстрации оказалось достаточным провести тесты с количеством процессоров до 64 (с шагом 8). Для количества точек, в которых вычислялась функция, была введена логарифмическая шкала (от 100 до миллиона с шагом умножения на 10). Причина введения такой шкалы состоит в том, что в настоящих примерах требуется вычислять функцию не меньше, чем в ста тысячах точек и эта величина может доходить до одного миллиарда, а провал эффективности наблюдается лишь при существенно меньших количествах точек интегрирования. При таком подходе не представлялось возможным измерять производительность в гигафлопсах; в качестве показателя производительности использовалось количество точек, в которых была вычислена функция.

В результате проведённых экспериментов был получен следующий диапазон [[Глоссарий#Эффективность реализации|эффективности реализации]] алгоритма:

* минимальная эффективность реализации 27.20%;
* максимальная эффективность реализации 98.01%.

На следующих рисунках приведены графики [[Глоссарий#Производительность|производительности]] и эффективности выбранной реализации численного интегрирования в зависимости от изменяемых параметров запуска.

[[file:Масштабируемость численного интегрирования методом прямоугольников. Производительность.svg|thumb|center|600px|Рисунок 2. Параллельная реализация интегрирования методом прямоугольников. Изменение производительности в зависимости от числа процессоров и количества вычисляемых точек.]]
[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность.svg|thumb|center|600px|Рисунок 3. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и количества вычисляемых точек.]]

При полученных данных не представляется осмысленным выводить средние оценки изменения эффективности по тем или иным осям. Эффективность вычислений для задачи существенно зависит от того, превышает ли количество вычисляемых точек количество процессоров (хотя бы на порядок). В таком случае получаемое ускорение практически линейно, а эффективность реализации стремится к единице. Поскольку в реальных примерах сложно представить, чтобы в этом алгоритме количество используемых процессоров могло сравняться с количеством вычисляемых точек, делается вывод, что алгоритм, как и предполагалось согласно теоретическим оценкам, является идеально масштабируемым.

=== Динамические характеристики и эффективность реализации алгоритма ===

Так как мы рассматриваем вычисление функции как абстрактно устроенную и неизвестную нам процедуру, то представляется невозможным прокомментировать эффективность работы алгоритма с памятью или иные близкие характеристики. Как показали результаты предыдущего параграфа, алгоритм проявляет себя крайне эффективно в случае, когда количество вычисляемых точек становится существенно больше числа задействованных процессоров, а время вычисления функции не меньше одной сотой секунды. Соответственно представляет интерес зафиксировать количество вычисляемых точек (например, числом 10000) и изучить зависимость эффективности от числа процессоров (как и ранее, до 64 с шагом 8) и времени вычисления функции в одной точке (от <math>10^{-5}</math> секунды до <math>101 \cdot 10^{-5}</math> с шагом <math>10^{-4}</math>).

[[file:Масштабируемость численного интегрирования методом прямоугольников. Эффективность 2.svg|thumb|center|600px|Рисунок 4. Параллельная реализация интегрирования методом прямоугольников. Изменение эффективности в зависимости от числа процессоров и времени вычисления функции.]]

Данный эксперимент показывает, что действительно при малом времени вычисления функции в одной точке эффективность алгоритма резко падает (до 2.02% в некоторых случаях). Это объясняется тем, что накладные расходы на организацию MPI-вычислений начинают доминировать. Однако при времени вычисления функции превышающим <math>3 \cdot 10^{-4}</math> эффективность резко возрастает и становится близкой к единице.

Суммируя результаты экспериментов можно сделать вывод, что у алгоритма есть некоторая граница, зависящая от времени вычисления функции, ниже которой параллельная реализация имеет крайне низкую эффективность (точное значение данной границы может зависеть от архитектуры кластера, но не должно превышать сотую долю секунды). Однако, после перехода этой границы эффективность быстро возрастает и приближается к единице, при этом от числа процессоров она также зависит несущественно. Число процессоров для эффективной работы, в свою очередь, должно быть меньше хотя бы на порядок, чем число точек, в которых происходит вычисление функции.

=== Выводы для классов архитектур ===

Интерес представляет случай, когда алгоритм вычисления функции может быть адаптирован для одновременного вычисления в большом количестве точек. Например, если функция является рациональной, то алгоритм может быть представлен как серия операций сложения, умножения и других операций над массивами чисел.
В этом случае возможна реализация, в которой данные операции выполняются на графическом ускорителе GPGPU, что может приводить к существенному ускорению работы алгоритма по сравнению с вычислениями на центральном процессоре.

=== Существующие реализации алгоритма ===

Существующие библиотеки, осуществляющие интегрирование, обычно не используют алгоритм, описанный в данной статье, в чистом виде. Ввиду того, что функция может быть близкой к константе в части области интегрирования и существенно изменяться в другой части, намного эффективней оказываются так называемые адаптивные алгоритмы, в которых точки для вычисления функции располагаются не равномерно по области интегрирования, а добавляются постепенно на основании предыдущих вычислений. Кроме того, для многомерного интегрирования кубатурные правила становятся зачастую неэффективными, и требуется дробить не каждую ось в отдельности, а распределять точки случайным образом по области интегрирования. Такие подходы имеют относятся к классу методов Монте-Карло.

Реализация алгоритма доступна по адресу [http://git.algowiki-project.org/Sander/numerical_integration/tree/master]

== Литература ==
<references />

[[Категория:Статьи в работе]]