Алговики - Вклад [ru]

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-12-10T23:34:57Z

Dimx19:

{{Assignment|VadimVV}}
{{Assignment}}
{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}

Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
(все пункты выполнялись совместно).

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>.

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>.

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>.

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность.

Выходные данные: <math>x</math> - численное решение заданной нелинейной системы.

----
<math>x = x^0</math>;

<math>k = 0</math> - номер итерации;

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно);
:Вычисляем <math>F(x^k)</math>;
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>;
:<math>x = x + \Delta x^k</math>;
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>.

----

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка:

[[Файл:Graph_newton004.png|1000px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, вычислим параллельную сложность алгоритма без учета внутреннего вида заданных функций, а так же в предположении, что производные этих функций не даны:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масштабируемости алгоритм был реализован нами самостоятельно на библиотеке CUDA 8.0 для языка C++(компилятор nvcc) для Windows на домашнем компьютере(OS Windows 10 x64, CPU Intel Core i7-2600 3.4 GHz, 8 GB RAM, GPU NVIDIA GTX 550 Ti). GPU поддерживает спецификацию CUDA 2.1 и максимальное число потоков в блоке [https://ru.wikipedia.org/wiki/CUDA 1024]. Однако физически у нас есть всего 192 CUDA ядра(см [http://www.geforce.com/hardware/desktop-gpus/geforce-gtx-550ti/specifications спецификации] видеокарты). Все потоки должны быть элементами двумерного квадратного блока. Поэтому исследования масштабируемости были проведены на 4, 16, 36, 64, 100, 144, 196, 256, 324, 400 потоках(на большем количестве потоков проводить исследования бессмысленно ввиду ухудшения производительности). Параметры компиляции:
<source>"nvcc.exe" -gencode=arch=compute_20,code=\"sm_20,compute_20\" --use-local-env --cl-version 2015 -ccbin "C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -G --keep-dir Debug -maxrregcount=0 --machine 32 --compile -cudart static -g -DWIN32 -D_DEBUG -D_CONSOLE -D_MBCS -Xcompiler "/EHsc /W3 /nologo /Od /FS /Zi /RTC1 /MDd " -o Debug\kernel.cu.obj "kernel.cu" </source>
Решение СЛАУ было реализовано в 2 этапа:

1)Нахождение обратной матрицы с помощью метода Гаусса-Жордана. Для этого было написано ядро для CUDA:
<source lang="c++">__global__ void gaussjordan(float *A, float *I, int n, int i)</source>

2)Умножение обратной матрицы на вектор правых частей. Для этого было написано ядро для CUDA:
<source lang="c++">__global__ void multiply_by_vec(float *mat, float *vec, float *out, const int N)</source>

Необходимо сказать, что использование своих ядер для CUDA непременно ведет к снижению производительности. Для улучшения производительности предпочтительно использовать матричные операции из библиотеки cuBLAS. Однако, при таком подходе невозможно явно задать количество потоков - для конкретной видеокарты сама библиотека выбирает, какое количество потоков ей использовать. В связи с этим и были написаны свои ядра, позволяющие задавать количество потоков.

Считалось, что на вход алгоритму были заданы нелинейные функции и их производные. С нашей реализацией можно ознакомиться [https://dl.dropboxusercontent.com/u/43317547/ParallelingCuda.zip здесь].

Говоря о масштабируемости данного алгоритма, важно отметить следующее:

1. Время вычисления набора функций и набора их производных очень сильно зависит от их сложности и не связано с мощностью алгоритма.

2. Скорость отработки алгоритма от начала до конца может не быть связана с его мощностью: заранее неизвестно начальное приближение, а значит и количество итераций, за которое он сойдется.

Вывод: для оценки масштабируемости необходимо сравнивать одну итерацию алгоритма, и притом, без учета времени вычисления значения функций и их производных. В итоге, приходим к выводу, что целесообразно измерить время выполнения одного решения СЛАУ. Также стоит отметить, что в нашей реализации при хорошем выборе начального приближения алгоритм сходился за 10-20 итераций.

Можно рассмотреть зависимость масштабируемости от одного из двух критериев: размерности задачи или же количества потоков. На графике ниже представлена зависимость времени решения СЛАУ от количества потоков и размерности матрицы
[[Файл:Newton_plot.png|1100px|Рис.2 Время решения СЛАУ в зависимости от размерности системы и количества потоков|мини|центр]]
Как уже было сказано, из-за наличия только 192 физических процессоров, данный алгоритм показывает лучшее время работы при использовании 144 либо 256 потоков. 144 потока (размер блока 12х12) - наиболее близкое количество потоков к 192 физическим процессорам. Хорошее время работы на 256 потоках объясняется тем, что мы используем стандартный размер блока 16х16, а так же многие операции деления или умножения на количество потоков или размер блока в этом случае компилятор может заменить на операции побитового сдвига, которые работают быстрее обычных.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

* [http://dumpz.org/13923/ C++]
* [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]
* [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]
* [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Обсуждение участника:Oleggium

2016-12-09T23:21:44Z

Dimx19: /* Замечания */

== Статья [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]] ==

=== Замечания ===

* п.1.5 "result" лучше обозначить какой-нибудь латинской буквой как математическую величину [+]
* п.1.7 лучше заменить термин "надбавка" [+]
* п.1.7 граф выглядит достаточно элегантно, но показаны не все связи между этапами [?]
''Между какими этапами необходимо указать связь? По нашему мнению все связи указаны''
Давайте сделаем так:
** в п.1.7 вы сначала раречислите все этапы алгоритма (как в легенде на рисунке, только желательно поподробнее);
** потом по каждому этапу перечислите входные и выходные данные (как в п.1.9, только получится подробнее),
а там уже будет видно, придется ли добавить новые стрелочки
* п.1.9 конкретно указать также объемы входных и выходных данных [+]
''В пункте конктерно указан ти и размер входных и выходных данных, что еще требуется указать?''
** хотелось как в более простых алгоритмах в конце пункта обойтись только упоминает количества (объема данных) "n", но давайте лучше оставим как есть у вас для большей ясности

п.2.4 [+]
* добавьте, пожалуйста, слова о том что это ваша самостоятельная реализация
* обидно, что вы сократили рассмотрение масштабируемости алгоритма до решения СЛАУ
* тогда уж напишите подробно, какой метод решения СЛАУ вы использовали
* в самом конце добавьте свои соображения почему нет ускорения при числе потоков больше 256

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-12-09T23:19:29Z

Dimx19:

{{Assignment|VadimVV}}
{{Assignment}}
{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}

Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
(все пункты выполнялись совместно).

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>.

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>.

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>.

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность.

Выходные данные: <math>x</math> - численное решение заданной нелинейной системы.

----
<math>x = x^0</math>;

<math>k = 0</math> - номер итерации;

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно);
:Вычисляем <math>F(x^k)</math>;
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>;
:<math>x = x + \Delta x^k</math>;
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>.

----

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка:

[[Файл:Graph_newton002.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, вычислим параллельную сложность алгоритма без учета внутреннего вида заданных функций, а так же в предположении, что производные этих функций не даны:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масштабируемости алгоритм был реализован нами самостоятельно на библиотеке CUDA 8.0 для языка C++(компилятор nvcc) для Windows на домашнем компьютере(OS Windows 10 x64, CPU Intel Core i7-2600 3.4 GHz, 8 GB RAM, GPU NVIDIA GTX 550 Ti). GPU поддерживает спецификацию CUDA 2.1 и максимальное число потоков в блоке [https://ru.wikipedia.org/wiki/CUDA 1024]. Однако физически у нас есть всего 192 CUDA ядра(см [http://www.geforce.com/hardware/desktop-gpus/geforce-gtx-550ti/specifications спецификации] видеокарты). Все потоки должны быть элементами двумерного квадратного блока. Поэтому исследования масштабируемости были проведены на 4, 16, 36, 64, 100, 144, 196, 256, 324, 400 потоках(на большем количестве потоков проводить исследования бессмысленно ввиду ухудшения производительности). Параметры компиляции:
<source>"nvcc.exe" -gencode=arch=compute_20,code=\"sm_20,compute_20\" --use-local-env --cl-version 2015 -ccbin "C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -G --keep-dir Debug -maxrregcount=0 --machine 32 --compile -cudart static -g -DWIN32 -D_DEBUG -D_CONSOLE -D_MBCS -Xcompiler "/EHsc /W3 /nologo /Od /FS /Zi /RTC1 /MDd " -o Debug\kernel.cu.obj "kernel.cu" </source>
Решение СЛАУ было реализовано в 2 этапа:

1)Нахождение обратной матрицы с помощью метода Гаусса-Жордана. Для этого было написано ядро для CUDA:
<source lang="c++">__global__ void gaussjordan(float *A, float *I, int n, int i)</source>

2)Умножение обратной матрицы на вектор правых частей. Для этого было написано ядро для CUDA:
<source lang="c++">__global__ void multiply_by_vec(float *mat, float *vec, float *out, const int N)</source>

Необходимо сказать, что использование своих ядер для CUDA непременно ведет к снижению производительности. Для улучшения производительности предпочтительно использовать матричные операции из библиотеки cuBLAS. Однако, при таком подходе невозможно явно задать количество потоков - для конкретной видеокарты сама библиотека выбирает, какое количество потоков ей использовать. В связи с этим и были написаны свои ядра, позволяющие задавать количество потоков.

Считалось, что на вход алгоритму были заданы нелинейные функции и их производные. С нашей реализацией можно ознакомиться [https://dl.dropboxusercontent.com/u/43317547/ParallelingCuda.zip здесь].

Говоря о масштабируемости данного алгоритма, важно отметить следующее:

1. Время вычисления набора функций и набора их производных очень сильно зависит от их сложности и не связано с мощностью алгоритма.

2. Скорость отработки алгоритма от начала до конца может не быть связана с его мощностью: заранее неизвестно начальное приближение, а значит и количество итераций, за которое он сойдется.

Вывод: для оценки масштабируемости необходимо сравнивать одну итерацию алгоритма, и притом, без учета времени вычисления значения функций и их производных. В итоге, приходим к выводу, что целесообразно измерить время выполнения одного решения СЛАУ. Также стоит отметить, что в нашей реализации при хорошем выборе начального приближения алгоритм сходился за 10-20 итераций.

Можно рассмотреть зависимость масштабируемости от одного из двух критериев: размерности задачи или же количества потоков. На графике ниже представлена зависимость времени решения СЛАУ от количества потоков и размерности матрицы
[[Файл:Newton_plot.png|1100px|Рис.2 Время решения СЛАУ в зависимости от размерности системы и количества потоков|мини|центр]]
Как уже было сказано, из-за наличия только 192 физических процессоров, данный алгоритм показывает лучшее время работы при использовании 144 либо 256 потоков. 144 потока (размер блока 12х12) - наиболее близкое количество потоков к 192 физическим процессорам. Хорошее время работы на 256 потоках объясняется тем, что мы используем стандартный размер блока 16х16, а так же многие операции деления или умножения на количество потоков или размер блока в этом случае компилятор может заменить на операции побитового сдвига, которые работают быстрее обычных.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

* [http://dumpz.org/13923/ C++]
* [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]
* [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]
* [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-12-09T23:02:30Z

Dimx19:

{{Assignment|VadimVV}}
{{Assignment}}
{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}

Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
(все пункты выполнялись совместно).

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>.

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>.

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>.

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность.

Выходные данные: <math>x</math> - численное решение заданной нелинейной системы.

----
<math>x = x^0</math>;

<math>k = 0</math> - номер итерации;

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно);
:Вычисляем <math>F(x^k)</math>;
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>;
:<math>x = x + \Delta x^k</math>;
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>.

----

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка:

[[Файл:Graph_newton002.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, вычислим параллельную сложность алгоритма без учета внутреннего вида заданных функций, а так же в предположении, что производные этих функций не даны:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масштабируемости алгоритм был реализован нами самостоятельно на библиотеке CUDA 8.0 для языка C++(компилятор nvcc) для Windows на домашнем компьютере(OS Windows 10 x64, CPU Intel Core i7-2600 3.4 GHz, 8 GB RAM, GPU NVIDIA GTX 550 Ti). GPU поддерживает спецификацию CUDA 2.1 и максимальное число потоков в блоке [https://ru.wikipedia.org/wiki/CUDA 1024]. Однако физически у нас есть всего 192 CUDA ядра(см [http://www.geforce.com/hardware/desktop-gpus/geforce-gtx-550ti/specifications спецификации] видеокарты). Все потоки должны быть элементами двумерного квадратного блока. Поэтому исследования масштабируемости были проведены на 4, 16, 36, 64, 100, 144, 196, 256, 324, 400 потоках(на большем количестве потоков проводить исследования бессмысленно ввиду ухудшения производительности). Параметры компиляции:
<source>"nvcc.exe" -gencode=arch=compute_20,code=\"sm_20,compute_20\" --use-local-env --cl-version 2015 -ccbin "C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -G --keep-dir Debug -maxrregcount=0 --machine 32 --compile -cudart static -g -DWIN32 -D_DEBUG -D_CONSOLE -D_MBCS -Xcompiler "/EHsc /W3 /nologo /Od /FS /Zi /RTC1 /MDd " -o Debug\kernel.cu.obj "kernel.cu" </source>
Решение СЛАУ было реализовано в 2 этапа:

1)Нахождение обратной матрицы с помощью метода Гаусса-Жордана. Для этого было написано ядро для CUDA:
<source lang="c++">__global__ void gaussjordan(float *A, float *I, int n, int i)</source>

2)Умножение обратной матрицы на вектор правых частей. Для этого было написано ядро для CUDA:
<source lang="c++">__global__ void multiply_by_vec(float *mat, float *vec, float *out, const int N)</source>

Необходимо сказать, что использование своих ядер для CUDA непременно ведет к снижению производительности. Для улучшения производительности предпочтительно использовать матричные операции из библиотеки cuBLAS. Однако, при таком подходе невозможно явно задать количество потоков - для конкретной видеокарты сама библиотека выбирает, какое количество потоков ей использовать. В связи с этим и были написаны свои ядра, позволяющие задавать количество потоков.

Считалось, что на вход алгоритму были заданы нелинейные функции и их производные. С нашей реализацией можно ознакомиться [https://dl.dropboxusercontent.com/u/43317547/ParallelingCuda.zip здесь].

Говоря о масштабируемости данного алгоритма, важно отметить следующее:

1. Время вычисления набора функций и набора их производных очень сильно зависит от их сложности и не связано с мощностью алгоритма.

2. Скорость отработки алгоритма от начала до конца может не быть связана с его мощностью: заранее неизвестно начальное приближение, а значит и количество итераций, за которое он сойдется.

Вывод: для оценки масштабируемости необходимо сравнивать одну итерацию алгоритма, и притом, без учета времени вычисления значения функций и их производных. В итоге, приходим к выводу, что целесообразно измерить время выполнения одного решения СЛАУ. Также стоит отметить, что в нашей реализации при хорошем выборе начального приближения алгоритм сходился за 10-20 итераций.

Можно рассмотреть зависимость масштабируемости от одного из двух критериев: размерности задачи или же количества потоков. На графике ниже представлена зависимость времени решения СЛАУ от количества потоков и размерности матрицы
[[Файл:Newton_plot.png|1000px|Рис.2 Время решения СЛАУ в зависимости от размерности системы и количества потоков|мини|центр]]
Как уже было сказано, из-за наличия только 192 физических процессоров, данный алгоритм показывает лучшее время работы при использовании 144 либо 256 потоков. 144 потока (размер блока 12х12) - наиболее близкое количество потоков к 192 физическим процессорам. Хорошее время работы на 256 потоках объясняется тем, что мы используем стандартный размер блока 16х16, а так же многие операции деления или умножения на количество потоков или размер блока в этом случае компилятор может заменить на операции побитового сдвига, которые работают быстрее обычных.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

* [http://dumpz.org/13923/ C++]
* [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]
* [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]
* [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Обсуждение участника:Oleggium

2016-12-08T22:12:35Z

Dimx19: /* Замечания */

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-12-08T22:09:48Z

Dimx19:

{{Assignment|VadimVV}}
{{Assignment}}
{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}

Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
(все пункты выполнялись совместно).

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>.

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>.

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>.

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность.

Выходные данные: <math>x</math> - численное решение заданной нелинейной системы.

----
<math>x = x^0</math>;

<math>k = 0</math> - номер итерации;

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно);
:Вычисляем <math>F(x^k)</math>;
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>;
:<math>x = x + \Delta x^k</math>;
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>.

----

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка:

[[Файл:Graph_newton002.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, вычислим параллельную сложность алгоритма без учета внутреннего вида заданных функций, а так же в предположении, что производные этих функций не даны:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масштабируемости алгоритм был реализован на библиотеке CUDA 8.0 для языка C++(компилятор nvcc) для Windows на домашнем компьютере(OS Windows 10 x64, CPU Intel Core i7-2600 3.4 GHz, 8 GB RAM, GPU NVIDIA GTX 550 Ti). Для данного GPU максимально возможное число потоков - 1024. В ходе оценки масштабируемости, программа была запущена в 16, 64, 256, 576, 1024 потока. Параметры компиляции:
<source>"nvcc.exe" -gencode=arch=compute_20,code=\"sm_20,compute_20\" --use-local-env --cl-version 2015 -ccbin "C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -G --keep-dir Debug -maxrregcount=0 --machine 32 --compile -cudart static -g -DWIN32 -D_DEBUG -D_CONSOLE -D_MBCS -Xcompiler "/EHsc /W3 /nologo /Od /FS /Zi /RTC1 /MDd " -o Debug\kernel.cu.obj "kernel.cu" </source>
Считалось, что на вход алгоритму были заданы нелинейные функции и их производные. Решение СЛАУ было реализовано с помощью метода Гаусса-Жордана нахождения обратной матрицы. С примером реализации можно ознакомиться [https://dl.dropboxusercontent.com/u/43317547/ParallelingCuda.zip здесь].

Говоря о масштабируемости данного алгоритма, важно отметить следующее:

1. Время вычисления набора функций и набора их производных очень сильно зависит от их сложности и не связано с мощностью алгоритма.

2. Скорость отработки алгоритма от начала до конца может не быть связана с его мощностью: заранее неизвестно начальное приближение, а значит и количество итераций, за которое он сойдется.

Вывод: для оценки масштабируемости необходимо сравнивать одну итерацию алгоритма, и притом, без учета времени вычисления значения функции и ее производных. В итоге, приходим к выводу, что целесообразно измерить время выполнения одного решения СЛАУ. Также стоит отметить, что в нашей реализации при хорошем выборе начального приближения алгоритм сходился за 10-20 итераций.

Можно рассмотреть зависимость масштабируемости от одного из двух критериев: размерности задачи или же количества потоков. На графике ниже представлена зависимость времени решения СЛАУ от количества потоков и размерности матрицы
[[Файл:Newton_plot.png|1000px|Рис.2 Время решения СЛАУ в зависимости от размерности системы и количества потоков|мини|центр]]
Видно, что для данной реализации алгоритма оптимальнее всего использовать 256 потоков.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

* [http://dumpz.org/13923/ C++]
* [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]
* [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]
* [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-11-20T13:06:29Z

Dimx19:

{{Assignment}}
{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
(все пункты выполнялись совместно).

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>.

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>.

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>.

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность.

----
<math>rezult = x^0</math>;

<math>k = 0</math> - номер итерации;

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно);
:Вычисляем <math>F(x^k)</math>;
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>;
:<math>result = result + \Delta x^k</math>;
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>.

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка:

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, вычислим параллельную сложность алгоритма без учета внутреннего вида заданных функций, а так же в предположении, что производные этих функций не даны:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масштабируемости алгоритм был реализован на библиотеке CUDA 8.0 для языка C++(компилятор nvcc) для Windows на домашнем компьютере(OS Windows 10 x64, CPU Intel Core i7-2600 3.4 GHz, 8 GB RAM, GPU NVIDIA GTX 550 Ti). Для данного GPU максимально возможное число потоков - 1024. В ходе оценки масштабируемости, программа была запущена в 16, 64, 256, 576, 1024 потока. Параметры компиляции:
<source>"nvcc.exe" -gencode=arch=compute_20,code=\"sm_20,compute_20\" --use-local-env --cl-version 2015 -ccbin "C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\include" -G --keep-dir Debug -maxrregcount=0 --machine 32 --compile -cudart static -g -DWIN32 -D_DEBUG -D_CONSOLE -D_MBCS -Xcompiler "/EHsc /W3 /nologo /Od /FS /Zi /RTC1 /MDd " -o Debug\kernel.cu.obj "kernel.cu" </source>
Считалось, что на вход алгоритму были заданы нелинейные функции и их производные. Решение СЛАУ было реализовано с помощью метода Гаусса-Жордана нахождения обратной матрицы. С примером реализации можно ознакомиться [https://dl.dropboxusercontent.com/u/43317547/ParallelingCuda.zip здесь].

Говоря о масштабируемости данного алгоритма, важно отметить следующее:

1. Время вычисления набора функций и набора их производных очень сильно зависит от их сложности и не связано с мощностью алгоритма.

2. Скорость отработки алгоритма от начала до конца может не быть связана с его мощностью: заранее неизвестно начальное приближение, а значит и количество итераций, за которое он сойдется.

Вывод: для оценки масштабируемости необходимо сравнивать одну итерацию алгоритма, и притом, без учета времени вычисления значения функции и ее производных. В итоге, приходим к выводу, что целесообразно измерить время выполнения одного решения СЛАУ. Также стоит отметить, что в нашей реализации при хорошем выборе начального приближения алгоритм сходился за 10-20 итераций.

Можно рассмотреть зависимость масштабируемости от одного из двух критериев: размерности задачи или же количества потоков. На графике ниже представлена зависимость времени решения СЛАУ от количества потоков и размерности матрицы
[[Файл:Newton_plot.png|1000px|Рис.2 Время решения СЛАУ в зависимости от размерности системы и количества потоков|мини|центр]]
Видно, что для данной реализации алгоритма оптимальнее всего использовать 256 потоков.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

* [http://dumpz.org/13923/ C++]
* [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]
* [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]
* [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-11-16T02:32:07Z

Dimx19: /* Масштабируемость алгоритма и его реализации */

{{Assignment|VadimVV}}

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
(все пункты выполнялись совместно).

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>.

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>.

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>.

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность.

----
<math>rezult = x^0</math>;

<math>k = 0</math> - номер итерации;

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно);
:Вычисляем <math>F(x^k)</math>;
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>;
:<math>result = result + \Delta x^k</math>;
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>.

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка:

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, вычислим параллельную сложность алгоритма без учета внутреннего вида заданных функций, а так же в предположении, что производные этих функций не даны:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масштабируемости алгоритм был реализован на библиотеке CUDA 8.0 для языка C++ на домашнем компьютере. В данной конфигурации максимально возможное число потоков - 1024. Считалось, что на вход алгоритму были заданы нелинейные функции и их производные. Решение СЛАУ было реализовано с помощью метода Гаусса-Жордана нахождения обратной матрицы. С примером реализации можно ознакомиться [https://dl.dropboxusercontent.com/u/43317547/ParallelingCuda.zip здесь].

Говоря о масштабируемости данного алгоритма, важно отметить следующее:

1. Время вычисления набора функций и набора их производных очень сильно зависит от их сложности и не связано с мощностью алгоритма.

2. Скорость отработки алгоритма от начала до конца может не быть связана с его мощностью: заранее неизвестно начальное приближение, а значит и количество итераций, за которое он сойдется.

Вывод: для оценки масштабируемости необходимо сравнивать одну итерацию алгоритма, и притом, без учета времени вычисления значения функции и ее производных. В итоге, приходим к выводу, что целесообразно измерить время выполнения одного решения СЛАУ. Также стоит отметить, что в нашей реализации при хорошем выборе начального приближения алгоритм сходился за 10-20 итераций.

Можно рассмотреть зависимость масштабируемости от одного из двух критериев: размерности задачи или же количества потоков. На графике ниже представлена зависимость времени решения СЛАУ от количества потоков и размерности матрицы
[[Файл:Newton_plot.png|1000px|Рис.2 Время решения СЛАУ в зависимости от размерности системы и количества потоков|мини|центр]]
Видно, что для данной реализации алгоритма оптимальнее всего использовать 256 потоков.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

* [http://dumpz.org/13923/ C++]
* [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]
* [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]
* [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-11-16T02:27:35Z

Dimx19:

{{Assignment|VadimVV}}

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
(все пункты выполнялись совместно).

== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>.

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>.

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>.

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность.

----
<math>rezult = x^0</math>;

<math>k = 0</math> - номер итерации;

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно);
:Вычисляем <math>F(x^k)</math>;
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>;
:<math>result = result + \Delta x^k</math>;
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>.

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка:

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, вычислим параллельную сложность алгоритма без учета внутреннего вида заданных функций, а так же в предположении, что производные этих функций не даны:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида).

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

Для исследования масштабируемости алгоритм был реализован на библиотеке CUDA 8.0 для языка C++ на домашнем компьютере. В данной конфигурации максимально возможное число потоков - 1024. Считалось, что на вход алгоритму были заданы нелинейные функции и их производные. Решение СЛАУ было реализовано с помощью метода Гаусса-Жордана нахождения обратной матрицы. С примером реализации можно ознакомиться [https://dl.dropboxusercontent.com/u/43317547/ParallelingCuda.zip здесь].

Говоря о масштабируемости данного алгоритма, важно отметить следующее:

1. Время вычисления набора функций и набора их производных очень сильно зависит от их сложности и не связано с мощностью алгоритма.

2. Скорость отработки алгоритма от начала до конца может не быть связана с его мощностью: заранее неизвестно начальное приближение, а значит и количество итераций, за которое он сойдется.

Вывод: для оценки масштабируемости необходимо сравнивать одну итерацию алгоритма, и притом, без учета времени вычисления значения функции и ее производных. В итоге, приходим к выводу, что целесообразно измерить время выполнения одного решения СЛАУ. Также стоит отметить, что в нашей реализации при хорошем выборе начального приближения алгоритм сходился за 10-20 итераций.

Можно рассмотреть зависимость масштабируемости от одного из двух критериев: размерности задачи или же количества потоков. На графике ниже представлена зависимость времени решения СЛАУ от количества потоков и размерности матрицы
[[Файл:Newton_plot.png|1000px|Рис.2 Время решения СЛАУ в реализации алгоритма с помошщью библиотеки CUDA.|мини|центр]]
Видно, что для данной реализации алгоритма оптимальнее всего использовать 256 потоков.

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

* [http://dumpz.org/13923/ C++]
* [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]
* [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]
* [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-30T17:08:13Z

Dimx19: /* Ресурс параллелизма алгоритма */

{{Assignment}}
{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----
<math>rezult = x^0</math>

<math>k = 0</math> - номер итерации.

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>result = result + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, вычислим параллельную сложность алгоритма без учета внутреннего вида заданнывх функций, а так же в предположении, что производные этих функций не даны:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

<math>\cdot </math> [http://dumpz.org/13923/ C++]

<math>\cdot </math> [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]

<math>\cdot </math> [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]

<math>\cdot </math> [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-30T17:08:03Z

Dimx19: /* Ресурс параллелизма алгоритма */

{{Assignment}}
{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----
<math>rezult = x^0</math>

<math>k = 0</math> - номер итерации.

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>result = result + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, вычислим параллельную сложность алгоритма без учета внутреннего вида заданнывх функций, а так же в предположении, что производные этих функций не даны.:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

<math>\cdot </math> [http://dumpz.org/13923/ C++]

<math>\cdot </math> [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]

<math>\cdot </math> [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]

<math>\cdot </math> [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-30T17:06:52Z

Dimx19:

{{Assignment}}
{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----
<math>rezult = x^0</math>

<math>k = 0</math> - номер итерации.

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>result = result + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, тогда:

Вычислим параллельную сложность без учета внутреннего вида функций, а так же в предположении, что производные не даны.:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

<math>\cdot </math> [http://dumpz.org/13923/ C++]

<math>\cdot </math> [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]

<math>\cdot </math> [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]

<math>\cdot </math> [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Обсуждение участника:Oleggium

2016-10-30T17:05:06Z

Dimx19: /* Замечания */

== Статья [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]] ==

=== Замечания ===
* Нет названий многих пунктов из раздела 2 (также 2.4 и 2.7 неправильно нумерованы, но это исправится при внесении всех пунктов). [+]
* П. 1.5 - псевдокод нужно оформить как исходный код. [Поясните, что это значит? Оформить псевдокод с помощью тегов source? В таком случае не будет возможности использовать математические формулы(с тегами math)]
* П. 1.6, 2.2 - списки не стоит оформлять отдельными блоками [+]
* П. 1.8 - отсутствует явная оценка параллельной сложности алгоритма. [+]
* П. 1.10 - отсутствует оценка вычислительной мощности. [+]
* П. 1.10 - стоит поправить ссылки (написать "в разделах..." и убрать # из названий ссылок). [+]
* Не указан вклад каждого автора. [Заранее не было озвучено то, что если мы пишем группой, то нужно разделять пункты. Поэтому, мы, как и всегда делали при нашей групповой работе, делали все вместе без разделения пунктов. Мы либо консультировали друг друга по скайпу, либо правили вдвоем каждый пункт. Сейчас мы могли бы искусственно разделить наше описание, но действительности это отражать не будет]

Обсуждение участника:Oleggium

2016-10-30T17:04:25Z

Dimx19: /* Замечания */

== Статья [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]] ==

=== Замечания ===
* Нет названий многих пунктов из раздела 2 (также 2.4 и 2.7 неправильно нумерованы, но это исправится при внесении всех пунктов). [+]
* П. 1.5 - псевдокод нужно оформить как исходный код. [Поясните, что это значит? Оформить псевдокод с помощью тегов <source>? В таком случае не будет возможности использовать формулы <math>]
* П. 1.6, 2.2 - списки не стоит оформлять отдельными блоками. [+]
* П. 1.8 - отсутствует явная оценка параллельной сложности алгоритма. [+]
* П. 1.10 - отсутствует оценка вычислительной мощности. [+]
* П. 1.10 - стоит поправить ссылки (написать "в разделах..." и убрать # из названий ссылок). [+]
* Не указан вклад каждого автора. [Заранее не было озвучено то, что если мы пишем группой, то нужно разделять пункты. Поэтому, мы, как и всегда делали при нашей групповой работе, делали все вместе без разделения пунктов. Мы либо консультировали друг друга по скайпу, либо правили вдвоем каждый пункт. Сейчас мы могли бы искусственно разделить наше описание, но действительности это отражать не будет]

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-30T17:02:05Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----
<math>rezult = x^0</math>

<math>k = 0</math> - номер итерации.

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>result = result + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ. Пусть <math>p<n</math> - количество потоков, тогда:

Вычислим параллельную сложность без учета внутреннего вида функций, а так же в предположении, что производные не даны.:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Получили сложность <math>O(5n^2/p)</math>.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования одной из параллельной<ref name="LINK5">http://www.intuit.ru/studies/courses/4447/983/lecture/14931</ref> реализации метода Гаусса сложность <math>O(n^3/p)</math>.

Итого получили сложность <math>O(n^3/p)</math>.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются и функции, и данные, причем функции произвольного вида)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера можно ознакомиться со следующими реализациями метода Ньютона:

<math>\cdot </math> [http://dumpz.org/13923/ C++]

<math>\cdot </math> [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]

<math>\cdot </math> [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]

<math>\cdot </math> [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-30T16:50:53Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----
<math>rezult = x^0</math>

<math>k = 0</math> - номер итерации.

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>result = result + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.
Вычислительную мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных, в общем случае посчитать для данного алгоритма невозможно(ввиду того, что на вход алгоритму подаются произвольные функции)

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера готовой реализации метода Ньютона, можно ознакомиться с одной из следующих библиотек:

<math>\cdot </math> [http://dumpz.org/13923/ C++]

<math>\cdot </math> [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]

<math>\cdot </math> [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]

<math>\cdot </math> [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-30T16:33:47Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----
<math>rezult = x^0</math>

<math>k = 0</math> - номер итерации.

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>result = result + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма|Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера готовой реализации метода Ньютона, можно ознакомиться с одной из следующих библиотек:

<math>\cdot </math> [http://dumpz.org/13923/ C++]

<math>\cdot </math> [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]

<math>\cdot </math> [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]

<math>\cdot </math> [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-30T16:32:54Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(k \cdot n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

- Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>

- Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----
<math>rezult = x^0</math>

<math>k = 0</math> - номер итерации.

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>result = result + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| > \varepsilon</math> '''AND''' <math>k < k_{max}</math>

----

Выходные данные: <math>result</math> - численное решение заданной нелинейной системы.

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций (то есть получили конечное решение, причем алгоритм сошелся к решению и была достигнута заданная точность). Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:

<math>\bullet</math> Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций.

<math>\bullet</math> Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций.

<math>\bullet</math> Решаем СЛАУ <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>.

В итоге получили сложность <math>O(k \cdot n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.png|500px|Рис.1 Информационный граф алгоритма.|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способа решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В разделах [[#Математическое описание алгоритма|Математическом описании алгоритма]] и [[#Последовательная сложность алгоритма|Последовательной сложности алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.

== Программная реализация алгоритма ==

=== Особенности реализации последовательного алгоритма ===

=== Локальность данных и вычислений ===

=== Возможные способы и особенности параллельной реализации алгоритма ===

=== Масштабируемость алгоритма и его реализации ===

=== Динамические характеристики и эффективность реализации алгоритма ===

=== Выводы для классов архитектур ===

=== Существующие реализации алгоритма ===

Поскольку для получения очередного приближения <math>x_k</math>, необходимо знать предыдущее, то эффективность и скорость алгоритма будут очень сильно зависеть от алгоритма, которым решается СЛАУ. Для решения СЛАУ существует огромное количество готовых библиотек для различных языков программирования. Их можно легко найти в интернете.

В качестве примера готовой реализации метода Ньютона, можно ознакомиться с одной из следующих библиотек:

<math>\cdot </math> [http://dumpz.org/13923/ C++]

<math>\cdot </math> [https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]

<math>\cdot </math> [http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]

<math>\cdot </math> [https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-15T12:09:31Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона <ref name="LINK_WIKI">https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0</ref> (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="LINK2">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref><ref name="LINK3">Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.</ref><ref name="LINK4">Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций, причем <math>k << n^3</math>. Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

В итоге получили сложность <math>O(n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.jpg|500px|Рис.1 Информационный граф алгоритма. Блок IN представляет из себя входной вектор начальных приближений X_0, F(x_k) - вычисление значений нелинейных функций, J(x_k) - Вычисление Якобиана(либо вызов уже задананных функций с производными). На выходе каждой итерации получаем новый вектор x_k|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способра решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В [[#Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ.

Реализации самого метода Ньютона:
*[http://dumpz.org/13923/ C++]
*[https://www.math.ohiou.edu/courses/math3600/lecture13.pdf MATLAB]
*[http://six.cheng.cam.ac.uk/wiki/images/8/8b/NumMeth_Handout_5.pdf MATLAB]
*[https://v8doc.sas.com/sashtml/iml/chap8/sect4.htm SAS]

== Литература ==

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-15T11:55:19Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций, причем <math>k << n^3</math>. Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

В итоге получили сложность <math>O(n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.jpg|500px|Рис.1 Информационный граф алгоритма. Блок IN представляет из себя входной вектор начальных приближений X_0, F(x_k) - вычисление значений нелинейных функций, J(x_k) - Вычисление Якобиана(либо вызов уже задананных функций с производными). На выходе каждой итерации получаем новый вектор x_k|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способра решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В [[#Математическое описание алгоритма]] и [[#Последовательная сложность алгоритма]] представлены некоторые теоремы и утверждения, показывающие эти свойства.

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-15T11:54:19Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций, причем <math>k << n^3</math>. Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

В итоге получили сложность <math>O(n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.jpg|500px|Рис.1 Информационный граф алгоритма. Блок IN представляет из себя входной вектор начальных приближений X_0, F(x_k) - вычисление значений нелинейных функций, J(x_k) - Вычисление Якобиана(либо вызов уже задананных функций с производными). На выходе каждой итерации получаем новый вектор x_k|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Сложность алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способра решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В математическом описании алгоритма представлены некоторые теоремы и утверждения, показывающие эти свойства.[[#Математическое описание алгоритма]]

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-15T11:50:50Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций, причем <math>k << n^3</math>. Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

В итоге получили сложность <math>O(n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.jpg|500px|Рис.1 Информационный граф алгоритма. Блок IN представляет из себя входной вектор начальных приближений X_0, F(x_k) - вычисление значений нелинейных функций, J(x_k) - Вычисление Якобиана(либо вызов уже задананных функций с производными). На выходе каждой итерации получаем новый вектор x_k|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' <math>n</math>-мерный вектор <math>x^k</math>.

=== Свойства алгоритма ===

Скорость сходимости алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способра решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В математическом описании алгоритма представлены некоторые теоремы и утверждения, показывающие эти свойства.[[#См. также]]

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-15T11:49:02Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций, причем <math>k << n^3</math>. Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

В итоге получили сложность <math>O(n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.jpg|500px|Рис.1 Информационный граф алгоритма. Блок IN представляет из себя входной вектор начальных приближений X_0, F(x_k) - вычисление значений нелинейных функций, J(x_k) - Вычисление Якобиана(либо вызов уже задананных функций с производными). На выходе каждой итерации получаем новый вектор x_k|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных), <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' численное решение <math>x^k</math>.

=== Свойства алгоритма ===

Скорость сходимости алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способра решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В математическом описании алгоритма представлены некоторые теоремы и утверждения, показывающие эти свойства.[[#См. также]]

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-15T11:48:26Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных) + <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный алгоритм использует 2 основных метода - решение СЛАУ и вычисление Якобиана.

=== Схема реализации последовательного алгоритма ===

Построим математическое описание нашего алгоритма.

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций, причем <math>k << n^3</math>. Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

В итоге получили сложность <math>O(n^3)</math>.

=== Информационный граф ===

Опишем информационный граф в виде рисунка

[[Файл:Graph_newton.jpg|500px|Рис.1 Информационный граф алгоритма. Блок IN представляет из себя входной вектор начальных приближений X_0, F(x_k) - вычисление значений нелинейных функций, J(x_k) - Вычисление Якобиана(либо вызов уже задананных функций с производными). На выходе каждой итерации получаем новый вектор x_k|мини|центр]]

=== Ресурс параллелизма алгоритма ===

На каждой итерации алгоритма возможно использовать параллельное вычисление значений Якобиана(т.к. вычисление каждого значения в матрице не зависит от других), а так же параллельное решение СЛАУ.

=== Входные и выходные данные алгоритма ===

'''Входные данные:''' <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны <math>n^2</math> производных) + <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение, <math>\varepsilon</math> - точность.

'''Выходные данные:''' численное решение <math>x^k</math>.

=== Свойства алгоритма ===

Скорость сходимости алгоритма очень сильно зависит от вида заданных нелинейных функций, от выбора способра решения СЛАУ, а так же от выбора начального приближения. При некорректном выборе начального приближения сходимости вообще может не быть. В математическом описании алгоритма представлены некоторые теоремы и утверждения, показывающие эти свойства.[[#См. также]]

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-15T10:36:39Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны производные) + <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный метод сводится к решению СЛАУ.

=== Схема реализации последовательного алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>k</math> итераций, причем <math>k << n^3</math>. Количество итераций <math>k</math> зависит от выбора начального приближения.

Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

В итоге получили сложность <math>O(n^3)</math>.

=== Информационный граф ===
[[Файл:Graph.jpg]]

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

Выходные данные: численное решение <math>x^k</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T19:46:43Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны производные) + <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный метод сводится к решению СЛАУ.

=== Схема реализации последовательного алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>m</math> итераций. Количество итераций зависит от выбора начального приближения.

Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

Выходные данные: численное решение <math>x^k</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T19:40:58Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны производные) + <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru/ru/structure/depts/is/course2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный метод сводится к решению СЛАУ.

=== Схема реализации последовательного алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>m</math> итераций. Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

Выходные данные: численное решение <math>x^k</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T18:17:20Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны производные) + <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru%2Fru%2Fstructure%2Fdepts%2Fis%2Fcourse2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный метод сводится к решению СЛАУ.

=== Схема реализации последовательного алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>m</math> итераций. Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

Выходные данные: численное решение <math>x^k</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T18:16:59Z

Dimx19: /* Последовательная сложность алгоритма */

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны производные) + <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru%2Fru%2Fstructure%2Fdepts%2Fis%2Fcourse2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный метод сводится к решению СЛАУ.

=== Схема реализации последовательного алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, сделанные в самом алгоритме. Однако, так же необходимо помнить о том, что внутри каждого вызова каждой из заданных нелинейных функций возможно выполнение большого количество арифметических операций. Не зная конкретный вид этих функций, получить оценку арифметических операций внутри функций невозможно. Очевидно, что при сложных нелинейных функциях, суммарное количество операций внутри функций и вне их, требующихся для вычисления Якобиана, может быть существенно больше сложности решения СЛАУ. В этом случае целесообразно использовать модифицированный метод Ньютона, о котором говорилось ранее.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>m</math> итераций. Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

Выходные данные: численное решение <math>x^k</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T18:01:59Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны производные) + <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Одномерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru%2Fru%2Fstructure%2Fdepts%2Fis%2Fcourse2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т. е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный метод сводится к решению СЛАУ.

=== Схема реализации последовательного алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

В оценке сложности будем учитывать только арифметические операции, однако, так же необходимо не забывать об оценке для количества вызовов функций.

Будем считать, что в цикле '''DO ... WHILE''' мы сделали <math>m</math> итераций. Каждая итерация состоит из следующего:
*Вычисление производных <math>\frac{\partial F(x^k)}{\partial x} </math> в случае, если они не заданы. Для каждого дифференцирования используя, например, формулу центральной разностной производной <math>f'(x) = (f(x+h) - f(x-h))/2h </math> необходимо 2 вызова функций, 3 сложения, одно умножение и одно деление. Количество арифметических операций - <math>5</math>. Всего в матрице <math>n^2</math> элементов. Получили сложность <math>O(5n^2)</math> (если производные заданы, то необходимо сделать <math>n^2</math> вызовов функций)
*Вычисляем <math>F(x^k)</math> - <math>n</math> вызовов функций
*Решаем СЛАУ<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math> - В случае использования метода Гаусса <math>O(n^3)</math>

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

Выходные данные: численное решение <math>x^k</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T17:21:12Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math> в случае решения СЛАУ методом Гаусса
| input_data = <math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций (так же дополнительно могут быть даны производные) + <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение
| output_data = <math>n</math>-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Однормерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений<ref name="VOLA">http://www.apmath.spbu.ru%2Fru%2Fstructure%2Fdepts%2Fis%2Fcourse2task4_1.pdf</ref>

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т.е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

Вычислительными ядрами данного алгоритма являются:

* Численное вычисление Якобиана(в случае, если производные не даны) <math>\frac{\partial F(x^k)}{\partial x} </math>
* Решение СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>

=== Макроструктура алгоритма ===

Как уже было описано в вычислительном ядре, данный метод сводится к решению СЛАУ.

=== Схема реализации последовательного алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

----

<math>x^k = x^0</math>

'''DO'''
:Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
:Вычисляем <math>F(x^k)</math>
:Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
:<math>x^{k} = x^k + \Delta x^k</math>
'''WHILE''' <math>||\Delta x^k|| < \varepsilon</math>

----

Выходные данные: численное решение <math>x^k</math>

=== Последовательная сложность алгоритма ===

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

Входные данные:<math>F(x)</math> - <math>n</math> <math>n</math>-мерных функций; <math>n</math>-мерный вектор <math>x^0</math> - начальное приближение.
<math>\varepsilon</math> - точность

Выходные данные: численное решение <math>x^k</math>

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

Как уже было сказано, основная часть данного алгоритма составляет решение СЛАУ. Поэтому, целесообразно не искать уже реализованный алгоритм, а взять некоторую библиотеку, быстро рещающую СЛАУ(параллельно или последовательно), и все остальные шаги алгоритма реализовать самому(ведь их не очень много). Имеется огромное количество библиотек на любых языках программирования, решающих СЛАУ. Одна из возможных реализаций алгоритма доступна [http://dumpz.org/13923/ здесь]

== Литература ==

:Тыртышников Е. Е. Методы численного анализа — М., Академия, 2007. - 320 c.

:Бахвалов Н. С., Жидков Н. П., Кобельков. Г. М. — 6-е изд. — М. : БИНОМ. Лаборатория знаний, 2008. — 636 с.

<references \>

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T16:34:01Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math>
| input_data = n n-мерных функций (так же дополнительно могут быть даны производные) + n-мерный вектор - начальное приближение
| output_data = n-мерный вектор
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Однормерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т.е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

=== Последовательная сложность алгоритма ===

Входные данные:F(x) - n n-мерных функций; n-мерный вектор x^0 - начальное приближение.
eps - точность

<math>x^k = x^0</math>

Пока |x^k+1-x^k| > eps:
Вычисляем <math>\frac{\partial F(x^k)}{\partial x} </math> (если производные не даны, то их можно вычислить численно)
Решаем СЛАУ(например, методом Гаусса) <math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>
<math>x^{k+1} = x^k + \Delta x^k</math>

Выходные данные - <math>x^k+1</math>

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T16:23:55Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math>
| input_data = <math>n n-мерных функций (так же дополнительно могут быть даны производные) + n-мерный вектор - начальное приближение</math>
| output_data = <math>n-мерный вектор</math>
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Однормерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т.е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

=== Последовательная сложность алгоритма ===

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T15:37:45Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Однормерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1).

Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: x = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т.е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

=== Последовательная сложность алгоритма ===

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

== Литература ==

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-13T14:58:44Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}
Авторы: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Однормерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений <math>x_{n}</math> вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===
Рассмотрим систему нелинейных уравнений

<math>F(x) = 0, F(x), x \in \mathbb{R}^{n}, (1)</math>

и предположим, что существует вектор <math>\bar{x} \in D \subset \mathbb{R}^{n}</math>, являющийся решением системы (1).

Будем считать, что <math>F(x) = (f_1(x), f_2(x), ... f_n(x))^T</math>, причем <math>f_i(\cdot) \in C^1(D) \forall i</math>

Разложим <math>F(x)</math> в окрестности точки <math>\bar{x}: F(x) = F(x^0) + F'(x^0)(x-x^0) + o(||x-x^0||)</math>.

Здесь
<math>
F'(x) = \frac{\partial{F(x)}}{\partial{x}} =
\begin{pmatrix}
\frac{\partial{f_1(x_1)}}{\partial{x_1}} & \frac{\partial{f_1(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_1(x_n)}}{\partial{x_n}}\\
\frac{\partial{f_2(x_1)}}{\partial{x_1}} & \frac{\partial{f_2(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_2(x_n)}}{\partial{x_n}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial{f_n(x_1)}}{\partial{x_1}} & \frac{\partial{f_n(x_2)}}{\partial{x_2}} & \cdots & \frac{\partial{f_n(x_n)}}{\partial{x_n}}
\end{pmatrix}
</math>

называется матрицей Якоби, а её определитель – якобианом системы (1). Исходное уравнение заменим следующим: <math>F(x^0) + F'(x^0)(x-x^0) = 0</math>. Считая матрицу Якоби <math>F'(x^0)</math> неособой, разрешим это уравнение относительно <math>x: \hat{x} = x^0 - [F'(x)]^{-1}F(x^0)</math>. И вообще положим

<math>x^{k+1} = x^{k} - [F'(x^k)]^{-1}F(x^k)</math>.

При сделанных относительно <math>F(\cdot)</math> предположениях имеет место сходимость последовательности <math>x^{k}</math> к решению системы со скоростью геометрической прогрессии при условии, что начальное приближение <math>x^0</math> выбрано из достаточно малой окрестности решения <math>\bar{x}</math>.

При дополнительном предположении <math>F(\cdot) \in C^2</math> имеет место квадратичная сходимость метода, т.е.

<math>||x^{k+1}-\bar{x}|| \le \omega||x^{k}-\bar{x}||^2</math>.

Сформулируем теорему.

'''Теорема.'''
''Пусть в некоторой окрестности решения <math>\bar{x}</math> системы (1) функции <math>f_i(\cdot) \in C^2</math> и якобиан системы отличен от нуля в этой окрестности. Тогда существует <math>\delta</math>-окрестность точки <math>\bar{x}</math> такая, что при любом выборе начального приближения <math>x^0</math> из этой окрестности последовательность <math>{x_k}</math> не выходит из неё и имеет место квадратичная сходимость этой последовательности.''

'''Замечание 1.'''
''В качестве критерия окончания процесса итераций обычно берут условие: <math>||x^{k+1}-x^k|| < \varepsilon</math>.

'''Замечание 2.'''
''Сложность метода Ньютона – в обращении матрицы Якоби. Вводя обозначение <math>\Delta x^k = x^{k+1}-x^k</math>, получаем для вычисления <math>\Delta x^k</math> СЛАУ''

<math>\frac{\partial F(x^k)}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''откуда и находим искомую поправку <math>\Delta x^k</math>, а затем и следующее приближение <math>x^{k+1} = x^k + \Delta x</math> к решению <math>\bar{x}</math>. Очевидно, что это значительно сокращает количество арифметических операций для построения очередного приближения.''

'''Замечание 3.'''
''Начиная с некоторого шага <math>k_0</math> решают стационарную СЛАУ''

<math>\frac{\partial F(x^{k_0})}{\partial x} \cdot \Delta x^k = -F(x^k)</math>,

''Данное видоизменение носит название модифицированный метод Ньютона.''

'''Замечание 4. (О выборе начального приближения).'''
''Пусть вектор-функция <math>\Phi(\lambda, x)</math> такова, что <math>\Phi(1, x) = F(x)</math>, а система <math>\Phi(0, x) = 0</math> может быть решена. Тогда разбивая <math>[0,1]</math> на <math>N</math> частей решают методом Ньютона набор из <math>N</math> систем <math>\Phi(i/N, x) = F(x), i = 1,... N</math>, принимая для каждой следующей системы в качестве начального приближения решение предыдущей системы.''

=== Вычислительное ядро алгоритма ===

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

=== Последовательная сложность алгоритма ===

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

== Литература ==

Обсуждение участника:Lineprinter

2016-10-11T22:59:02Z

Dimx19: /* Перенос */

== Перенос ==

Статья: algowiki-project.org/ru/Решение_задачи_Коши_для_системы_ОДУ_методом_Рунге-Кутты_4_порядка;
Выполняют: Алимов Дамир и Антон Лесничий

Статья: Алгоритм кластеризации, основанный на минимальном остовном дереве;
Выполняет: Стандрик Антон Сергеевич (Astandrik)

Статья: [[Нахождение_собственных_чисел_квадратной_матрицы_методом_QR_разложения_(3)|Нахождение собственных чисел квадратной матрицы методом QR разложения (3)]];
Выполняют: [[Участник:Смирнова_Александра|Смирнова А.С.]], [[Участник:Александра_Киямова|Киямова А.]]

Статья: [[Метод_Якоби_вычисления_сингулярных_чисел_и_векторов]];
Выполняют: [[Участница:Почернина_Елена| Почернина Елена]] и [[Участница:Светлана|Костюкова Светлана]]

Статья: [[Метод_Ньютона_для_решения_систем_нелинейных_уравнений(2)]];
Выполняют: [[Участник:Oleggium|Гирняк О.Р.]], [[Участник:Dimx19|Васильков Д.А.]]

Участник:Oleggium/Метод Ньютона для решения систем нелинейных уравнений(2)

2016-10-11T21:41:14Z

Dimx19:

{{algorithm
| name = Метод Ньютона
| serial_complexity = <math>O(n^3)</math>
| input_data = <math>2n+1</math>
| output_data = <math>n</math>
}}
Авторы: [[Участник:Гирняк_Олег|Гирняк О.Р.]], [[Участник:Васильков_Дмитрий|Васильков Д.А.]]
== Свойства и структура алгоритма ==

=== Общее описание алгоритма ===
'''Метод Ньютона для решение систем нелинейных уравнений''' - обобщение классического метода Ньютона (метода касательных) нахождения корня (нуля) заданной функции. Однормерный метод был впервые предложен английским физиком, математиком и астрономом Исааком Ньютоном (1643—1727). Поиск решения осуществляется путём построения последовательных приближений и основан на принципах простой итерации.

Впервые метод был опубликован в трактате «Алгебра» Джона Валлиса в 1685 году, по просьбе которого он был кратко описан самим Ньютоном. В 1690 году Джозеф Рафсон опубликовал упрощённое описание в работе «Общий анализ уравнений» (лат. «Analysis aequationum universalis»). Рафсон рассматривал метод Ньютона как чисто алгебраический и ограничил его применение полиномами, однако при этом он описал метод на основе последовательных приближений {\displaystyle x_{n}} x_{n} вместо более трудной для понимания последовательности полиномов, использованной Ньютоном. Наконец, в 1740 году метод Ньютона был описан Томасом Симпсоном как итеративный метод первого порядка решения нелинейных уравнений с использованием производной в том виде, в котором он излагается здесь. В той же публикации Симпсон обобщил метод на случай системы из двух уравнений и отметил, что метод Ньютона также может быть применён для решения задач оптимизации путём нахождения нуля производной или градиента.

=== Математическое описание алгоритма ===

=== Вычислительное ядро алгоритма ===

=== Макроструктура алгоритма ===

=== Схема реализации последовательного алгоритма ===

=== Последовательная сложность алгоритма ===

=== Информационный граф ===

=== Ресурс параллелизма алгоритма ===

=== Входные и выходные данные алгоритма ===

=== Свойства алгоритма ===

== Программная реализация алгоритма ==

=== Масштабируемость алгоритма и его реализации ===

=== Существующие реализации алгоритма ===

== Литература ==