Алговики - Вклад [ru]

Обсуждение участника:Александр Чернышев

2016-12-09T15:25:48Z

Александр Чернышев: /* Статья Метод_Ньютона_для_решения_систем_нелинейных_уравнений */

== Статья [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений]] ==

=== Замечания ===

* добавить врезку со свойствами алгоритма
* "Для" ... "Конец" лучше заменить, например, на "for" и "end for"
* в п.1.4 лучше сделать отсылку на соответствующие странички AlgoWiki
* в п.1.6 значение k может быть велико, порядка n
''исправлено''

* п.1.7 добавьте словесное описание информационного графа, описание его этапов, и какие выводы можно сделать на его основе
исправлено

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-12-09T12:31:26Z

Александр Чернышев: /* Информационный граф */

{{Assignment|VadimVV}}

{{algorithm
| name = Метод Ньютона для решения систем нелинейных уравнений
| serial_complexity = <math>O(lkn^2)</math>
| input_data = <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
| output_data = <math>n</math> вещественных чисел 
}}

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''For''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''For''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''End for'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''End for'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* [[Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)|Умножение матрицы на вектор]]

* [[Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант|Скалярное произведение векторов]]

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

Если <math>k</math> порядка <math>n</math> сложность составит <math>O(n^3)</math>

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

Каждая итерация метода Ньютона зависит от предыдущей, причем на каждом шаге для вычисления нового приближения необходимо выполнить ряд последовательных действий, таких как вычисление значений функций в точке, вычисление якобиана и решение системы линейных алгебраических уравнений.

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Версия MPI - impi/4.1.0

Реализация BLAS - mkl/11.2.0

Запуски проводились на regulal4

Модель используемого CPU - Intel Xeon X5570 2.93GHz

Версия PETSc - 3.7.4

Флаги компиляции: -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fvisibility=hidden -g3

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-12-09T12:11:44Z

Александр Чернышев: /* Информационный граф */

{{Assignment|VadimVV}}

{{algorithm
| name = Метод Ньютона для решения систем нелинейных уравнений
| serial_complexity = <math>O(lkn^2)</math>
| input_data = <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
| output_data = <math>n</math> вещественных чисел 
}}

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''For''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''For''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''End for'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''End for'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* [[Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)|Умножение матрицы на вектор]]

* [[Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант|Скалярное произведение векторов]]

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

Если <math>k</math> порядка <math>n</math> сложность составит <math>O(n^3)</math>

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

Каждая итерация метода Ньютона зависит от предыдущей, причем на каждом шаге необходимо выполнить ряд последовательных действий, таких как вычисление значений функций в точке, вычисление якобиана, решение системы линейных алгебраических уравнений и вычисление нового приближения.

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Версия MPI - impi/4.1.0

Реализация BLAS - mkl/11.2.0

Запуски проводились на regulal4

Модель используемого CPU - Intel Xeon X5570 2.93GHz

Версия PETSc - 3.7.4

Флаги компиляции: -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fvisibility=hidden -g3

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Обсуждение участника:Александр Чернышев

2016-12-08T09:22:27Z

Александр Чернышев: /* Замечания */

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-12-07T19:53:54Z

Александр Чернышев: /* Макроструктура алгоритма */

{{Assignment|VadimVV}}

{{algorithm
| name = Метод Ньютона для решения систем нелинейных уравнений
| serial_complexity = <math>O(lkn^2)</math>
| input_data = <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
| output_data = <math>n</math> вещественных чисел 
}}

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''For''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''For''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''End for'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''End for'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* [[Умножение_плотной_неособенной_матрицы_на_вектор_(последовательный_вещественный_вариант)|Умножение матрицы на вектор]]

* [[Скалярное_произведение_векторов,_вещественная_версия,_последовательно-параллельный_вариант|Скалярное произведение векторов]]

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

Если <math>k</math> порядка <math>n</math> сложность составит <math>O(n^3)</math>

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Версия MPI - impi/4.1.0

Реализация BLAS - mkl/11.2.0

Запуски проводились на regulal4

Модель используемого CPU - Intel Xeon X5570 2.93GHz

Версия PETSc - 3.7.4

Флаги компиляции: -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fvisibility=hidden -g3

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-12-07T19:46:02Z

Александр Чернышев:

{{Assignment|VadimVV}}

{{algorithm
| name = Метод Ньютона для решения систем нелинейных уравнений
| serial_complexity = <math>O(lkn^2)</math>
| input_data = <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
| output_data = <math>n</math> вещественных чисел 
}}

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''For''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''For''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''End for'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''End for'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

Если <math>k</math> порядка <math>n</math> сложность составит <math>O(n^3)</math>

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Версия MPI - impi/4.1.0

Реализация BLAS - mkl/11.2.0

Запуски проводились на regulal4

Модель используемого CPU - Intel Xeon X5570 2.93GHz

Версия PETSc - 3.7.4

Флаги компиляции: -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fvisibility=hidden -g3

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-12-07T19:43:08Z

Александр Чернышев: /* Последовательная сложность алгоритма */

{{Assignment|VadimVV}}

{{algorithm
| name = Метод Ньютона для решения систем нелинейных уравнений
| serial_complexity = 0
| input_data = 0
| output_data = 0
}}

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''For''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''For''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''End for'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''End for'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

Если <math>k</math> порядка <math>n</math> сложность составит <math>O(n^3)</math>

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Версия MPI - impi/4.1.0

Реализация BLAS - mkl/11.2.0

Запуски проводились на regulal4

Модель используемого CPU - Intel Xeon X5570 2.93GHz

Версия PETSc - 3.7.4

Флаги компиляции: -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fvisibility=hidden -g3

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-12-07T18:28:05Z

Александр Чернышев:

{{Assignment|VadimVV}}

{{algorithm
| name = Метод Ньютона для решения систем нелинейных уравнений
| serial_complexity = 0
| input_data = 0
| output_data = 0
}}

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''For''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''For''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''End for'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''End for'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Версия MPI - impi/4.1.0

Реализация BLAS - mkl/11.2.0

Запуски проводились на regulal4

Модель используемого CPU - Intel Xeon X5570 2.93GHz

Версия PETSc - 3.7.4

Флаги компиляции: -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fvisibility=hidden -g3

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-12-07T18:24:38Z

Александр Чернышев: /* Вычислительное ядро алгоритма */

{{Assignment|VadimVV}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''For''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''For''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''End for'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''End for'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Версия MPI - impi/4.1.0

Реализация BLAS - mkl/11.2.0

Запуски проводились на regulal4

Модель используемого CPU - Intel Xeon X5570 2.93GHz

Версия PETSc - 3.7.4

Флаги компиляции: -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fvisibility=hidden -g3

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-21T10:38:21Z

Александр Чернышев:

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Версия MPI - impi/4.1.0

Реализация BLAS - mkl/11.2.0

Запуски проводились на regulal4

Модель используемого CPU - Intel Xeon X5570 2.93GHz

Версия PETSc - 3.7.4

Флаги компиляции: -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fvisibility=hidden -g3

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-18T12:11:36Z

Александр Чернышев:

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Версия MPI - impi/4.1.0

Реализация BLAS - mkl/11.2.0

Запуски проводились на regulal4

Модель используемого CPU - Intel Xeon X5570 2.93GHz

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Обсуждение участника:Александр Чернышев

2016-11-18T05:47:39Z

Александр Чернышев: /* Замечания */

== Статья [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений]] ==

=== Замечания ===
* П. 1.8 - отсутствует в явном виде оценка параллельной сложности ВСЕГО алгоритма (а не отдельных его частей). Добавьте фразу типа "Параллельная сложность алгоритма (или одной итерации, как в последовательном случае) при заданных параметрах равна ...". Можно сделать какие-то предположения для облегчения оценки, но она должна быть. --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)
* П. 2.4 - не приведен исходный код реализации. --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)
* П. 2.4 - отсутствует описание платформы, на которой выполнялись эксперименты. --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)
* П. 2.4 - отсутствует хотя бы минимальное описание/анализ показанных на графике результатов. --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)
* П. 2.4 - рисунки не оформлены должным образом. --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)

Обсуждение участника:Александр Чернышев

2016-11-17T20:05:14Z

Александр Чернышев: /* Замечания */

== Статья [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений]] ==

=== Замечания ===
* П. 1.8 - отсутствует в явном виде оценка параллельной сложности ВСЕГО алгоритма (а не отдельных его частей). Добавьте фразу типа "Параллельная сложность алгоритма (или одной итерации, как в последовательном случае) при заданных параметрах равна ...". Можно сделать какие-то предположения для облегчения оценки, но она должна быть. --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)
* П. 2.4 - не приведен исходный код реализации. -а как его предлагается привести? в рекомендациях к заполнению ничего не сказано --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)
* П. 2.4 - отсутствует описание платформы, на которой выполнялись эксперименты. --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)
* П. 2.4 - отсутствует хотя бы минимальное описание/анализ показанных на графике результатов. --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)
* П. 2.4 - рисунки не оформлены должным образом. --[[Участник:VadimVV|VadimVV]] ([[Обсуждение участника:VadimVV|обсуждение]]) 13:42, 16 ноября 2016 (MSK)

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:52:59Z

Александр Чернышев: /* Последовательная сложность алгоритма */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ. 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:52:41Z

Александр Чернышев: /* Последовательная сложность алгоритма */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)k</math> и матрицу <math>Q_k</math> размера <math>nk</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(kn^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(kn)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(kn^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:51:29Z

Александр Чернышев: /* Ресурс параллелизма алгоритма */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода Гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:50:33Z

Александр Чернышев: /* Масштабируемость алгоритма и его реализации */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов"[http://parallel.ru/cluster Суперкомпьютерного комплекса Московского университета].

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:47:15Z

Александр Чернышев: /* Масштабируемость алгоритма и его реализации */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов".

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахождения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:45:09Z

Александр Чернышев: /* Ресурс параллелизма алгоритма */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(\frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(\frac{kn}{p})</math>
Сложение векторов - <math>O(\frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(\frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(\frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(\frac{n^2}{p})</math>
Расчет нормы - <math>O(\frac{n}{p})</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов".

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахожения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:44:24Z

Александр Чернышев: /* Ресурс параллелизма алгоритма */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(\frac{kn^2}{p})</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(frac{k^2n}{p})</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(frac{kn}{p})</math>
Сложение векторов - <math>O(frac{n}{p})</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(frac{n}{p})</math>
Вычисление вектор-функции F в точке - <math>O(frac{n}{p})</math>
Вычисление матрицы якобиана J в точке - <math>O(frac{n^2}{p})</math>
Расчет нормы - <math>O(n/p)</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов".

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахожения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:41:02Z

Александр Чернышев: /* Вычислительное ядро алгоритма */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\|\omega_m\|</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(k*n^2/p)</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(k^2*n/p)</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(k*n/p)</math>
Сложение векторов - <math>O(n/p)</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(n/p)</math>
Вычисление вектор-функции F в точке - <math>O(n/p)</math>
Вычисление матрицы якобиана J в точке - <math>O(n^2/p)</math>
Расчет нормы - <math>O(n/p)</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов".

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахожения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:40:28Z

Александр Чернышев: /* Вычислительное ядро алгоритма */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>\frac{r_0}{\|r_0\|}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(k*n^2/p)</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(k^2*n/p)</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(k*n/p)</math>
Сложение векторов - <math>O(n/p)</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(n/p)</math>
Вычисление вектор-функции F в точке - <math>O(n/p)</math>
Вычисление матрицы якобиана J в точке - <math>O(n^2/p)</math>
Расчет нормы - <math>O(n/p)</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов".

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахожения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:36:18Z

Александр Чернышев:

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(k*n^2/p)</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(k^2*n/p)</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(k*n/p)</math>
Сложение векторов - <math>O(n/p)</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(n/p)</math>
Вычисление вектор-функции F в точке - <math>O(n/p)</math>
Вычисление матрицы якобиана J в точке - <math>O(n^2/p)</math>
Расчет нормы - <math>O(n/p)</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов".

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахожения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:27:49Z

Александр Чернышев: /* Ресурс параллелизма алгоритма */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(k*n^2/p)</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(k^2*n/p)</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(k*n/p)</math>
Сложение векторов - <math>O(n/p)</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(n/p)</math>
Вычисление вектор-функции F в точке - <math>O(n/p)</math>
Вычисление матрицы якобиана J в точке - <math>O(n^2/p)</math>
Расчет нормы - <math>O(n/p)</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(\frac{kn^2}{p})</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов".

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахожения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:26:13Z

Александр Чернышев: /* Ресурс параллелизма алгоритма */

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях Арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(k*n^2/p)</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(k^2*n/p)</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(k*n/p)</math>
Сложение векторов - <math>O(n/p)</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(n/p)</math>
Вычисление вектор-функции F в точке - <math>O(n/p)</math>
Вычисление матрицы якобиана J в точке - <math>O(n^2/p)</math>
Расчет нормы - <math>O(n/p)</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(k*n^2/p)</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов".

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахожения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-17T19:25:07Z

Александр Чернышев:

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^3)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k^2*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Предположим, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

Тогда сложность расчета вектор-функции будет <math>O(n)</math>, матрицы якобиана - <math>O(n^2)</math>.

Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. Будем предполагать, что доступно p процессоров. 

Как и ранее будем предполагать, что сложность расчета одного элемента вектор-функции F и матрицы якобиана J будет <math>O(1)</math>.

При получении оценки последовательной сложности алгоритма было показано, что для одной итерации метода Ньютона необходимо выполнить:

На итерациях арнольди:
<math>k</math> операций умножения матрицы на вектор - <math>O(k*n^2/p)</math>
<math>k^2</math> операций расчета нормы, умножения вектора на число, сложения векторов - <math>O(k^2*n/p)</math>
QR-факторизация матрицы - <math>O(k^3)</math>
На решении задачи минимизации:
Обратный ход метода гаусса - <math>O(k^2)</math>
Умножение матрицы на вектор - <math>O(k*n/p)</math>
Сложение векторов - <math>O(n/p)</math>
На оставшиеся операции одной итерации метода Ньютона:
Сложение векторов - <math>O(n/p)</math>
Вычисление вектор-функции F в точке - <math>O(n/p)</math>
Вычисление матрицы якобиана J в точке - <math>O(n^2/p)</math>
Расчет нормы - <math>O(n/p)</math>

В результате, при небольших значениях параметра <math>k</math> получим суммарную оценку <math>O(k*n^2/p)</math>.
Выполнение данного ограничения можно достичь следующими способами:

1) Увеличение скорости сходимости решения СЛАУ при использовании предобуславливания

2) Используя модификацию данного алгоритма - GMRES(m)

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===

В качестве модельной задачи рассмотрим один из примеров<ref>http://www.mcs.anl.gov/petsc/petsc-3.5/src/snes/examples/tutorials/ex30.c.html</ref>
, поставляемых вместе с модулем SNES пакета PETSc.

Тестирование алгоритма проводилось на суперкомпьютере "Ломоносов".

Кроме того, использовались следующие параметры:

1) Pестарт алгоритма GMRES через 300 итераций

2) Максимальное число итераций для нахожения решения СЛАУ - 1500

3) Максимальное число итераций метода Ньютона на данном этапе решения - 20

Набор начальных параметров:

* Число процессоров [1 2 4 8 16 32 48 64 80 96 112 128];
* Порядок матрицы [82 122 162 202 242].

[[Файл:NewtonFlops.jpg|thumb|center|700px|Рисунок 1. Изменение производительности в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonAcc.jpg|thumb|center|700px|Рисунок 2. Изменение ускорения в зависимости от числа процессоров и размера матрицы.]]
[[Файл:NewtonEff.jpg|thumb|center|700px|Рисунок 3. Изменение эффективности в зависимости от числа процессоров и размера матрицы]]

Как видно из приведенных графиков, эффективность распараллеливания алгоритма довольно быстро убывает при увеличении числа процессоров.

При фиксированном числе процессоров наблюдается рост ускорения при увеличении вычислительной сложности задачи

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-15T21:33:35Z

Александр Чернышев:

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

Пусть нам будет дана матрица порядка ''n''. При использовании P процессоров мы получим: 
Умножение матрицы на вектор - <math>O(n^2/P)</math> 
Скалярное произведение, сложение векторов, умножение вектора на число - <math>O(n/p)</math> 

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
[[Файл:newton_Flops.png]]
[[Файл:newton_Time.png]]

=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-15T16:54:39Z

Александр Чернышев: /* Информационный граф */

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационный граф]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-15T16:47:39Z

Александр Чернышев: /* Информационный граф */

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Grafnewton.PNG|thumb|600px|center| Рис. 1. Информационная история]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-15T07:24:02Z

Александр Чернышев:

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равнозначный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Fullsch.PNG|thumb|600px|center| Рис. 1. Общая схема]]
[[Файл:Iteration8383.PNG|thumb|600px|center| Рис. 2. Итерация]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-14T21:03:30Z

Александр Чернышев:

{{Assignment}}
Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равномерный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Fullsch.PNG|thumb|600px|center| Рис. 1. Общая схема]]
[[Файл:Iteration8383.PNG|thumb|600px|center| Рис. 2. Итерация]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-14T20:55:02Z

Александр Чернышев: /* Информационный граф */

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равномерный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Fullsch.PNG|thumb|600px|center| Рис. 1. Общая схема]]
[[Файл:Iteration8383.PNG|thumb|600px|center| Рис. 2. Итерация]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-14T20:44:43Z

Александр Чернышев: /* Информационный граф */

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равномерный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]
[[Файл:Iteration8383.PNG|thumb|600px|center| Рис. 2. Итерация]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-14T20:26:46Z

Александр Чернышев:

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]. Вклад во все разделы равномерный.

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-14T20:26:08Z

Александр Чернышев:

Основные авторы описания: [[Участник:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-14T20:21:51Z

Александр Чернышев: /* Свойства алгоритма */

Основные авторы описания: [[U:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===
Так как во входных данных присутствует не только начальное приближение, но и функции, о свойствах которых, вообще говоря, ничего не известно, оценивать эффективность алгоритма сложно. Из классических результатов известно, что при выпуклых липшицевых функциях и удачном начальном приближении метод имеет квадратичную скорость сходимости, что выделяет его среди прочих итерационных методов. Но несмотря на это, он имеет и недостатки, которые особенно заметны при численных экспериментах.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-14T20:11:39Z

Александр Чернышев: /* Математическое описание алгоритма */

Основные авторы описания: [[U:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Основная сложность на каждой итерации заключается в решении системы уравнений. Один из самых эффективных методов их решения базируется на идеях Крылова, а именно проекционных итерационных методах.
Они основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-13T14:50:02Z

Александр Чернышев: /* Программная реализация алгоритма */

Основные авторы описания: [[U:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===
=== Локальность данных и вычислений ===
=== Возможные способы и особенности параллельной реализации алгоритма ===
=== Масштабируемость алгоритма и его реализации ===
=== Динамические характеристики и эффективность реализации алгоритма ===
=== Выводы для классов архитектур ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-13T14:44:57Z

Александр Чернышев: /* Схема реализации последовательного алгоритма */

Основные авторы описания: [[U:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
<source>
Выбор начального приближения x_k
Вычисление вектора F(x_k)
WHILE (условие остановки не выполнено)
Вычисление якобиана J(x_k) = F'(x_k)
Решение линейной системы уравнений алгоритмом GMRES J(x_k)s_k = -F(x_k)
x_k = x_k + s_k
Вычисление вектора F(x_k)
</source>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-11-13T13:44:27Z

Александр Чернышев: /* Макроструктура алгоритма */

Основные авторы описания: [[U:Александр Чернышев|Александр Чернышев]], [[U:N Zakharov|Никита Захаров]]

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
 Решение задачи минимизации 
Наша цель состоит в нахождении вектора <math>y_n</math>, минимизирующего задачу <math> \| \tilde{H}_n y_n - \beta e_1 \|, \, </math>
где <math>\tilde{H}_n</math> матрица размера (n+1) на n.
 
В результате применения QR-декомпозиции к матрице <math>\tilde{H}_n</math> находим ортогональную матрицу <math>\Omega_n</math> размера (n+1) на (n+1)
и верхнюю треугольную матрицу <math>\tilde{R}_n</math> размера (n+1) на n.
 При этом в матрице <math>\tilde{R}_n</math> последняя строка будет нулевой, то есть ее можно представить в следующем виде

 <math> \tilde{R}_n = \begin{bmatrix} R_n \\ 0 \end{bmatrix}. </math>

 Перепишем нашу исходную задачу <math> \| \tilde{H}_n y_n - \beta e_1 \| = \| \Omega_n (\tilde{H}_n y_n - \beta e_1) \| = \| \tilde{R}_n y_n - \beta \Omega_n e_1 \|. </math>

 Положим <math>\beta\Omega_ne_1=\tilde{g}_n</math>,

 где <math> \tilde{g}_n = \begin{bmatrix} g_n \\ \gamma_n \end{bmatrix} </math>

 Вектор <math>y_n</math> находится из следующего соотношения <math> y_n = R_n^{-1} g_n. </math>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

Не будем подробно останавливаться на описании решения задачи оптимизации. 
Однако, важно отметить, что расчет матриц <math>\Omega_m, R_m</math> и вектора <math>g_m</math> можно упростить, используя формулы перехода от m к m+1<ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>
. 
Модифицируя алгоритм Арнольди соответствующим образом, мы можем ощутимо снизить вычислительные затраты, необходимые нахождения QR-разложения матрицы <math>H_m</math> и вектора <math>g_m</math>. 

В результате, основной интерес для нас представляет решение СЛАУ <math>R_my_m=g_m</math>. Так как матрица <math>R_m</math> является верхнетреугольной, то вычисление вектора <math>y_m</math> совпадает с обратным ходом метода Гаусса.

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

* Умножение матрицы на вектор

* Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
: Выбор начального приближения <math>x_k</math>
: Вычисление вектора <math>F(x_k)</math>
: WHILE (условие остановки не выполнено)
:: Вычисление якобиана <math>J(x_k) = F'(x_k)</math>
:: Решение линейной системы уравнений алгоритмом GMRES <math>J(x_k)s_k = -F(x_k)</math>
:: <math>x_k = x_k + s_k</math>
:: Вычисление вектора <math>F(x_k)</math>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона. 
Для начала оценим сложность решения СЛАУ 
Будем считать, что наша исходная матрица была порядка n.
Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу <math>H_k</math> размера <math>(k+1)*k</math> и матрицу <math>Q_k</math> размера <math>n*k</math>. QR-факторизация матрицы <math>H_k</math> будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>. 
При решении задачи минимизации нам необходимо: 
1) Решить СЛАУ с верхнетреугольной матрицей порядка <math>k</math> для нахождения <math>y_k</math> - сложность <math>O(k^2)</math> арифметических операций. 
2) Умножить матрицу <math>Q_k</math> на найденный вектор - сложность <math>O(k * n)</math> арифметических операций. 
3) Сложить 2 вектора длины n - <math>O(n).</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n).</math> 
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций. 
Отметим, что данная оценка справедлива при небольших <math>k</math> относительно <math>n</math>.

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

Основным ресурсом параллелизма в представленном алгоритме являются: умножение матрицы на вектор, скалярное произведение и элементарные операции над векторами.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-10-16T09:12:17Z

Александр Чернышев:

Основные авторы описания: Александр Чернышев, Никита Захаров

{{Assignment}}

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди 
В результате мы получаем матрицу <math>H^{{m+1}\times{m}}</math> 
Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

Умножение матрицы на вектор

Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
: Выбор начального приближения <math>x_k</math>
: Вычисление вектора <math>F(x_k)</math>
: WHILE (условие остановки не выполнено)
:: Вычисление якобиана <math>J(x_k) = F'(x_k)</math>
:: Решение линейной системы уравнений алгоритмом GMRES <math>J(x_k)s_k = -F(x_k)</math>
:: <math>x_k = x_k + s_k</math>
:: Вычисление вектора <math>F(x_k)</math>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона.
Для начала оценим сложность решения СЛАУ
Вычислительная сложность GMRES алгоритма зависит от сложности метода, используемого для решения задачи минимизации. Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу размера <math>(k+1)*k</math>. QR-факторизация данной матрицы будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Однако, при условии, что мы будем обновлять QR-факторизацию на каждом шаге, что возможно(ссылка на википедию на тот метод), то сложность решения задачи минимизации составит даже <math>O(k)</math>. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n) </math>
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===
Из существующих реализаций важно отметить пакет PETSc и его компонент SNES, позволяющий решать системы нелинейных уравнений методом Ньютона 
https://www.mcs.anl.gov/petsc/

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-10-15T21:25:09Z

Александр Чернышев: /* Информационный граф */

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>

=== Вычислительное ядро алгоритма ===
Описание алгоритма Арнольди

Пусть <math>r_0</math> - произвольный входной вектор
<math>v_1</math> = <math>r_0/\begin{Vmatrix}r_0\end{Vmatrix}</math>

'''Для''' <math>m = 1,2,...,k </math>
<math>\omega_m</math> = <math>Av_k</math>
'''Для''' <math>j = 1,2, ..,m </math>
<math>h_{jm}=(\omega_m, v_j)</math>
<math>\omega_m=\omega_m-h_{jm}v_j</math>
'''Конец'''
<math>h_{m+1,m}=\begin{Vmatrix}\omega_m\end{Vmatrix}</math>
<math>v_{m+1}=\omega_m/h_{m+1,m}</math>
'''Конец'''

=== Макроструктура алгоритма ===
В данном алгоритме можно выделить 2 базовых макрооперации:

Умножение матрицы на вектор

Скалярное произведение векторов

=== Схема реализации последовательного алгоритма ===
: Выбор начального приближения <math>x_k</math>
: Вычисление вектора <math>F(x_k)</math>
: WHILE (условие остановки не выполнено)
:: Вычисление якобиана <math>J(x_k) = F'(x_k)</math>
:: Решение линейной системы уравнений алгоритмом GMRES <math>J(x_k)s_k = -F(x_k)</math>
:: <math>x_k = x_k + s_k</math>
:: Вычисление вектора <math>F(x_k)</math>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона.
Для начала оценим сложность решения СЛАУ
Вычислительная сложность GMRES алгоритма зависит от сложности метода, используемого для решения задачи минимизации. Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу размера <math>(k+1)*k</math>. QR-факторизация данной матрицы будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Однако, при условии, что мы будем обновлять QR-факторизацию на каждом шаге, что возможно(ссылка на википедию на тот метод), то сложность решения задачи минимизации составит даже <math>O(k)</math>. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n) </math>
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': <math>n^2 + n</math> функций от <math>n</math> переменных <math>n</math> вещественных чисел 
'''Выходные данные''': <math>n</math> вещественных чисел 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references \>

Обсуждение участника:Lineprinter

2016-10-15T21:08:25Z

Александр Чернышев:

== Перенос ==
Статья: [[Участник:Бобцов Борис/Вычисление определенного интеграла с использованием адаптивно сгущающейся сетки]]
Выполняет: [[Участник:Бобцов Борис| Бобцов Борис]]

Статья: [[Кластеризация сетями Кохонена]]
Выполняют: [[Участник:Kravtsovkirill| Кравцов Кирилл]] и [[Участник:Emaksimov| Максимов Егор]]

Статья: [[Нахождение собственных чисел квадратной матрицы методом QR разложения (2)]]
Выполняют: Баев Олег и Шевелев Александр

Статья: [[Стабилизированный метод биспоряженных градиентов (BiCGSTAB)]]
Выполняют: Гаврилов Алексей и Новиков Александр

Статья: [[Участники: Бобошко А., Юмакаева А./Решение начальной задачи Коши для системы ОДУ методом Рунге-Кутта 4-го порядка]];
Выполняют: Бобошко Алексей и Юмакаева Алина

Статья: [[Алгоритм кластеризации, основанный на сетях Кохоннена]];
Выполняют: Логвиненко Александра и Адиев Тохтар

Статья: [[Ортогонализация Грама-Шмидта]];
Выполняют: [[Участник:KibAndrey| Кибанов Андрей]] и Аджиева Татьяна

Статья: [[Самоорганизующиеся карты Кохонена]];
Выполняет: [[Участник:Anton goy| Гой Антон]]

Статья:[[ЕМ-алгоритм_(Тематическое_моделирование)]];
Выполняют: Мурат Апишев и Андрей Заночкин

Статья:[[Алгоритм_Ланцоша_с_полной_переортогонализацией]];
Выполняет:[[Участник:Sfedotov| Федотов С.А.]]

Статья: [[Алгоритм_k-средних]]
Выполняют: [[Участник:Error2407|Богомазов Евгений]], [[Участник:Илья_Егоров|Егоров Илья]]

Статья: [[Алгоритм k-means]]
Выполняют: [[Участник:Бротиковская Данута|Данута Бротиковская]] и [[Участник:DennZo1993|Денис Зобнин]]

Статья: [[Partitioning Around Medoids (Алгоритм)]]
Выполняют: [[Участник:Denemmy| Галеев Данил]] и [[Участник:Ivan.Z| Запутляев Иван]]

Статья: [[Нечеткий_алгоритм_С_средних]]
Выполняют: [[Участник:Demon smd|Д.А.Гуськов]], [[Участник:marina abramenkova|М.А.Абраменкова]]

Статья: [[Решение_задачи_Коши_для_системы_ОДУ_методом_Рунге-Кутты_4_порядка]];
Выполняют: [[Участник:Алимов_Дамир_Алиевич|Алимов Дамир]] и [[Участник:Anlesnichiy|Антон Лесничий]]

Статья: [[Строгий_алгоритм_С_средних_(Hard_C-Means,_HCM)]];
Выполняют: [[Участник:Светлана_Лукьяненко|Лукьяненко Светлана]] и [[Участник:Юрий_Комаров|Комаров Юрий]]

Статья: [[Алгоритм кластеризации, основанный на минимальном остовном дереве]];
Выполняет: [[Участник:Astandrik | Стандрик Антон Сергеевич]]

Статья: [[Умножение разреженной матрицы на вектор]];
Выполняет: [[Участник:Lexaloris | Новоселов Алексей]], Выполняет: [[Участник:kochet|П.А. Кочетков]]

Статья: [[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(3)|Нахождение собственных чисел квадратной матрицы методом QR разложения (3)]];
Выполняют: [[Участник:Смирнова_Александра|Смирнова А.С.]], [[Участник:Александра_Киямова|Киямова А.]]

Статья: [[Метод_Якоби_вычисления_сингулярных_чисел_и_векторов]];
Выполняют: [[Участница:Почернина_Елена| Почернина Елена]] и [[Участница:Светлана|Костюкова Светлана]]

Статья: [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]];
Выполняют: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений]];
Выполняют: [[Участник:Cookie|Шатков С.А.]], [[Участница:JuliaA|Антохина Ю.А.]]

Статья: [[Быстрое_преобразование_Фурье_(FFT)|Быстрое преобразование Фурье (FFT)]];
Выполняют: [[Участник:Victoria_Stepanischeva|Степанищева Виктория]] и [[Участник:Igor_Munkin|Мунькин Игорь]]

Статья: [[Быстрое_дискретное_преобразование_Фурье|Быстрое_дискретное_преобразование_Фурье]];
Выполняют: [[Участник:ivanov.kir.m | К.М.Иванов]], [[Участник:Pumpkin | А.C.Сапин]]

Статья:[[Алгоритм_k_средних]]
Выполняют: [[Участник:Parkhomenko|Пархоменко Павел]], [[Участник:ivan.mashonskiy|Машонский Иван]]

Статья:[[EM-алгоритм_кластеризации]]
Выполняет: [[Участник:Noite|Зинченко Дмитрий]]

Статья:[[Алгоритм_k_means]]
Выполняют: [[Участник:IanaV| Валуйская Яна]], [[Участник:GlotovES| Глотов Евгений]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы ЗП |Метод Якоби вычисления собственных значений симметричной матрицы ЗП]];
Выполняют: [[Участник:Зиновьев Владимир|Зиновьев В.С.]], [[Участник:Пронин Андрей|Пронин А.М.]]

Статья:[[Алгоритм_кластеризации,_основанный_на_минимальном_покрывающем_дереве]]
Выполняет: [[Участник:Kanast74|Дмитриева Анастасия]]

Статья:[[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(4)]]
Выполняют: [[Участник:F-morozov|Морозов Ф. В.]], [[Участник:Nataliya|Пащенко Н. Ф.]]

Статья:[[Хранение_ненулевых_элементов_разреженных_матриц._Умножение_разреженной_матрицы_на_вектор]];
Выполняют: [[Участник:Trrufina|Третьякова Р.М.]] и [[Участник:Екатерина_Буторина|Буторина Е.В.]]

Статья: [[Алгоритм_кластеризации_с_использованием_представлений2]];
Выполняет: [[Участник:Лукьянова Анна|Лукьянова А.Я.]]

Статья: [[Метод Якоби вычисления собственных значений симметричной матрицы]];
Выполняют: [[Участник: Galkina|Галкина А.С.]], [[Участник: Игорь|Плахов И.А.]]

Статья: [[Метод рекурсивной координатной бисекции]];
Выполняют: [[Участник: Obirvalger|Гордеев Михаил]], [[Участник: KolmakovEA|Колмаков Евгений]]

Статья: [[Итерационный метод решения системы линейных алгебраических уравнений GMRES (обобщенный метод минимальных невязок)]];
Выполняют: [[Участник: Эльвира Ахиярова|Ахиярова Эльвира]]

Статья: [[Хранение ненулевых элементов разреженной матрицы. Умножение разреженной матрицы на вектор]];
Выполняют: [[Участник: Janyell|Сычева Евгения]], [[Участник: Ahahalin|Хахалин Анатолий]]

Статья: [[Построение матрицы Адамара произвольного размера]];
Выполняют: [[Участник: Бугаков Юрий|Бугаков Юрий]], Кужамалиев Ернур

Статья: [[Вычисление определенного интеграла с использованием адаптивно сгущающейся сетки (1)]]
Выполняют: [[Участница:Sannikovats| Санникова Татьяна Сергеевна]], [[Участник:Plukshin| Лукшин Петр Андреевич]]

Статья: [[Алгоритм кластеризации, основанный на построении каркаса]];
Выполняют: [[Участник:SenderovichNikita| Сендерович Никита]]

Статья: [[Алгоритм кластеризации, основанный на максимизации ожидания]];
Выполняют: Готман Мария, Лукашкина Юлия

Статья: [[Partitioning_Around_Medoids_(PAM)]]
Выполняют: [[Участник:Avasilenko|А.Э.Василенко]], [[Участник:Anastasia|А.В.Тузикова]]

Статья: [[Нечеткий алгоритм С-средних (Fuzzy C-means)]]
Выполняют: [[Участник:Nikmedoed|Н.А. Муромцев]], [[Участник:illusive_mike|М.С. Дворецкий]]

Статья: [[Нечеткий алгоритм C средних]]
Выполняют: [[Участник:Gkhazeeva|Гелана Хазеева]], [[Участник:Yushin|Павел Юшин]]

Статья: [[Плотностный алгоритм кластеризации DBSCAN]]
Выполняют: [[Участник:Elena777mc|Малахова Е.С.]], [[Участник:Жаннат_Сагиолданова|Сагиолданова Ж.]]

Статья: [[Кластеризация Partitioning Around Medoids (PAM)]]
Выполняют:[[ Участник:Тодуа Антон| Тодуа Антон]], [[Участник:Гусева Юлия| Гусева Юлия]]

Статья: [[Участник:Бугаков Юрий (613 группа), Кужамалиев Ернур (601 группа)/Построение матрицы Адамара произвольной размерности]]
Выполняют:[[ Участник:Бугаков Юрий| Бугаков Юрий]], [[Участник:Кужамалиев Ернур| Кужамалиев Ернур]]

Статья: [[Участник:Nikita/Построение_матрицы_Адамара|Построение матрицы Адамара]]
Выполняют: [[Участник:Nikita|Иванов Никита]], [[Участник:Tsyganov Nikita|Цыганов Никита]]

Статья: [[Метод Ньютона для решения систем нелинейных уравнений]]
Выполняют: [[Участник:Александр Чернышев|Александр Чернышев]], [[Участник:Захаров Никита|Захаров Никита]]

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-10-15T20:50:37Z

Александр Чернышев: /* Информационный граф */

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
: Выбор начального приближения <math>x_k</math>
: Вычисление вектора <math>F(x_k)</math>
: WHILE (условие остановки не выполнено)
:: Вычисление якобиана <math>J(x_k) = F'(x_k)</math>
:: Решение линейной системы уравнений <math>J(x_k)s_k = -F(x_k)</math>
:: <math>x_k = x_k + s_k</math>
:: Вычисление вектора <math>F(x_k)</math>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона.
Для начала оценим сложность решения СЛАУ
Вычислительная сложность GMRES алгоритма зависит от сложности метода, используемого для решения задачи минимизации. Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу размера <math>(k+1)*k</math>. QR-факторизация данной матрицы будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Однако, при условии, что мы будем обновлять QR-факторизацию на каждом шаге, что возможно(ссылка на википедию на тот метод), то сложность решения задачи минимизации составит даже <math>O(k)</math>. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n) </math>
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]
[[Файл:Newton159.png|thumb|600px|center| Рис. 2. Итерация]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': 
'''Объём входных данных''': 
'''Выходные данные''': 
'''Объём выходных данных''': 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-10-15T20:05:17Z

Александр Чернышев: /* Последовательная сложность алгоритма */

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
: Выбор начального приближения <math>x_k</math>
: Вычисление вектора <math>F(x_k)</math>
: WHILE (условие остановки не выполнено)
:: Вычисление якобиана <math>J(x_k) = F'(x_k)</math>
:: Решение линейной системы уравнений <math>J(x_k)s_k = -F(x_k)</math>
:: <math>x_k = x_k + s_k</math>
:: Вычисление вектора <math>F(x_k)</math>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона.
Для начала оценим сложность решения СЛАУ
Вычислительная сложность GMRES алгоритма зависит от сложности метода, используемого для решения задачи минимизации. Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу размера <math>(k+1)*k</math>. QR-факторизация данной матрицы будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Однако, при условии, что мы будем обновлять QR-факторизацию на каждом шаге, что возможно(ссылка на википедию на тот метод), то сложность решения задачи минимизации составит даже <math>O(k)</math>. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math> арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n) </math>
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': 
'''Объём входных данных''': 
'''Выходные данные''': 
'''Объём выходных данных''': 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-10-15T20:03:34Z

Александр Чернышев: /* Последовательная сложность алгоритма */

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
: Выбор начального приближения <math>x_k</math>
: Вычисление вектора <math>F(x_k)</math>
: WHILE (условие остановки не выполнено)
:: Вычисление якобиана <math>J(x_k) = F'(x_k)</math>
:: Решение линейной системы уравнений <math>J(x_k)s_k = -F(x_k)</math>
:: <math>x_k = x_k + s_k</math>
:: Вычисление вектора <math>F(x_k)</math>

=== Последовательная сложность алгоритма ===

Будем оценивать сложность одной итерации метода Ньютона.
Для начала оценим сложность решения СЛАУ
Вычислительная сложность GMRES алгоритма зависит от сложности метода, используемого для решения задачи минимизации. Предположим, что мы нашли решение СЛАУ за <math>k</math> итераций. В результате выполнения алгоритма Арнольди мы получаем матрицу размера <math>(k+1)*k</math>. QR-факторизация данной матрицы будет стоить нам порядка <math>O(k^2)</math> арифметических операций. Однако, при условии, что мы будем обновлять QR-факторизацию на каждом шаге, что возможно(ссылка на википедию на тот метод), то сложность решения задачи минимизации составит даже <math>O(k)</math>. Сложность алгоритма Арнольди при этом составляет <math>O(k*n)</math>O(k*n) арифметических операций плюс сложность <math>k</math> раз умножения матрицы на вектор - <math>O(k*n^2)</math>
Сложность оставшихся операций из алгоритма Ньютона (сложение векторов + подсчет нормы) составляет <math>O(2*n) </math>
В результате мы получаем, что на одну итерацию метода Ньютона нужно <math>O(k*n^2)</math> операций

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': 
'''Объём входных данных''': 
'''Выходные данные''': 
'''Объём выходных данных''': 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-10-15T19:55:15Z

Александр Чернышев: /* Информационный граф */

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
: Выбор начального приближения <math>x_k</math>
: Вычисление вектора <math>F(x_k)</math>
: WHILE (условие остановки не выполнено)
:: Вычисление якобиана <math>J(x_k) = F'(x_k)</math>
:: Решение линейной системы уравнений <math>J(x_k)s_k = -F(x_k)</math>
:: <math>x_k = x_k + s_k</math>
:: Вычисление вектора <math>F(x_k)</math>

=== Последовательная сложность алгоритма ===
На каждом шаге необходимо выполнить:
:* Вычисление Якобиана : <math>O(n^2)</math>
:* Решение СЛАУ методом Гаусса : <math>O(n^3)</math>
:* Вычисление нового приближения
:* Вычисление нового значения функции : <math>O(n^2)</math>
 
Если считать, что количество итераций равно <math>k</math>, то общая сложность алгоритма равна <math>O(kn^3)</math>

=== Информационный граф ===
[[Файл:Newton157.png|thumb|600px|center| Рис. 1. Общая схема]]

=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': 
'''Объём входных данных''': 
'''Выходные данные''': 
'''Объём выходных данных''': 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references \>

Файл:Схема ньютон1.png

2016-10-15T19:50:03Z

Александр Чернышев: схема1

схема1

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-10-15T19:29:02Z

Александр Чернышев: /* Ресурс параллелизма алгоритма */

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
: Выбор начального приближения <math>x_k</math>
: Вычисление вектора <math>F(x_k)</math>
: WHILE (условие остановки не выполнено)
:: Вычисление якобиана <math>J(x_k) = F'(x_k)</math>
:: Решение линейной системы уравнений <math>J(x_k)s_k = -F(x_k)</math>
:: <math>x_k = x_k + s_k</math>
:: Вычисление вектора <math>F(x_k)</math>

=== Последовательная сложность алгоритма ===
На каждом шаге необходимо выполнить:
:* Вычисление Якобиана : <math>O(n^2)</math>
:* Решение СЛАУ методом Гаусса : <math>O(n^3)</math>
:* Вычисление нового приближения
:* Вычисление нового значения функции : <math>O(n^2)</math>
 
Если считать, что количество итераций равно <math>k</math>, то общая сложность алгоритма равна <math>O(kn^3)</math>

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
Вообще говоря, метод Ньютона является последовательным методом, но на определенных шагах, таких как решение СЛАУ, приближенное вычисление Якобиана, можно применить идеи параллельных вычислений.

=== Входные и выходные данные алгоритма ===
'''Входные данные''': 
'''Объём входных данных''': 
'''Выходные данные''': 
'''Объём выходных данных''': 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references \>

Участник:N Zakharov/Метод Ньютона для решения систем нелинейных уравнений

2016-10-15T19:22:15Z

Александр Чернышев: /* Математическое описание алгоритма */

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(kn^3)</math>
| pf_height = <math>000</math>
| pf_width = <math>000</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона, алгоритм Ньютона''' — это итерационный численный метод нахождения корня (нуля) заданной функции. Метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации. Метод обладает квадратичной сходимостью. Модификацией метода является метод хорд и касательных. Также метод Ньютона может быть использован для решения задач оптимизации, в которых требуется определить ноль первой производной либо градиента в случае многомерного пространства.

==== Историческая справка ====
Метод был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «De analysi per aequationes numero terminorum infinitas»), адресованной в 1669 году Барроу, и в работе «Метод флюксий и бесконечные ряды» (лат. «De metodis fluxionum et serierum infinitarum») или «Аналитическая геометрия» (лат. «Geometria analytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон вводит такие понятия, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Указанные работы были изданы значительно позднее: первая вышла в свет в 1711 году благодаря Уильяму Джонсону, вторая была издана Джоном Кользоном в 1736 году уже после смерти создателя. Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения <math>x_{n}</math>, а последовательность полиномов и в результате получал приближённое решение <math>x</math>.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

В 1879 году Артур Кэли в работе «Проблема комплексных чисел Ньютона — Фурье» (англ. «The Newton-Fourier imaginary problem») был первым, кто отметил трудности в обобщении метода Ньютона на случай мнимых корней полиномов степени выше второй и комплексных начальных приближений. Эта работа открыла путь к изучению теории фракталов.

=== Математическое описание алгоритма ===
В этой статье мы сразу сформулируем задачу для многомерного случая и не будем останавливаться на методе Ньютона для одномерных задач <ref>Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref> <ref>Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>.

Пусть необходимо найти решение системы: 
<math>
\left\{\begin{matrix}f_1(x_1, ..., x_n) = 0
\\ ...
\\ f_n(x_1, ..., x_n) = 0,

\end{matrix}\right.
</math>
 
где <math>f = (f_1, ..., f_n) : \mathbb{R}^n \rightarrow \mathbb{R}^n</math> - непрерывно дифференцируемое отображение в окрестности решения.
 

При начальном приближении <math>x_0</math> и сделанных предположениях <math>(k+1)</math>-я итерация метода будет выглядеть следующим образом:
<math>
x_{k+1} = x_k - [f'(x_k)]^{-1}f(x_k)
</math>

Проекционные итерационные методы основываются на тех же принципах, что и методы, которые используются для задач поиска собственных значений. На самом деле, многие методы Крылова напрямую вытекают из алгоритмов Арнольди<ref>Daniel F. Gill, NEWTON-KRYLOV METHODS FOR THE SOLUTION OF THE k-EIGENVALUE PROBLEM IN MULTIGROUP NEUTRONICS CALCULATIONS, 2009 </ref>. Приближенное решение можно найти по формуле <math>\tilde{x} = x_0 + V_my</math>, а после подставления условий Петрова-Гарелкина оно принимает вид <math>\tilde{x} = x_0 + V (W^TAV)^{-1}W^Tr_0</math>, где <math>r_0 = b - Ax_0</math>, <math>V = \{v_1, v_2, ..., v_m\}</math> - матрица, чьи столбцы являются ортонормированным базисом пространства, а матрица <math>W</math> находится из соотношения <math>W^HV = I</math>. 
<math>V^T_mAV_m = H_m</math> 
<math>G(y) = \left \| b-Ax \right \| = \left \| b-A(x_0+V_my) \right \| = \left \| r_0 -AV_my \right \|</math><ref> https://en.wikipedia.org/wiki/Generalized_minimal_residual_method#Solving_the_least_squares_problem</ref>

=== Вычислительное ядро алгоритма ===
=== Макроструктура алгоритма ===
=== Схема реализации последовательного алгоритма ===
: Выбор начального приближения <math>x_k</math>
: Вычисление вектора <math>F(x_k)</math>
: WHILE (условие остановки не выполнено)
:: Вычисление якобиана <math>J(x_k) = F'(x_k)</math>
:: Решение линейной системы уравнений <math>J(x_k)s_k = -F(x_k)</math>
:: <math>x_k = x_k + s_k</math>
:: Вычисление вектора <math>F(x_k)</math>

=== Последовательная сложность алгоритма ===
На каждом шаге необходимо выполнить:
:* Вычисление Якобиана : <math>O(n^2)</math>
:* Решение СЛАУ методом Гаусса : <math>O(n^3)</math>
:* Вычисление нового приближения
:* Вычисление нового значения функции : <math>O(n^2)</math>
 
Если считать, что количество итераций равно <math>k</math>, то общая сложность алгоритма равна <math>O(kn^3)</math>

=== Информационный граф ===
=== Ресурс параллелизма алгоритма ===
=== Входные и выходные данные алгоритма ===
'''Входные данные''': 
'''Объём входных данных''': 
'''Выходные данные''': 
'''Объём выходных данных''': 

=== Свойства алгоритма ===

== Программная реализация алгоритма ==
=== Масштабируемость алгоритма и его реализации ===
=== Существующие реализации алгоритма ===

== Литература ==

<references \>