Участник:V.P.Zykov/Стохастический градиентный спуск для линейной регрессии

Свойства и структура алгоритма

Общее описание алгоритма

Задача регрессии в машинном обучении — это задача предсказания непрерывных значений на основе входных данных. Регрессия используется для моделирования зависимости между независимыми переменными (признаками) и зависимой переменной (целевой переменной), которая представляет собой вещественную величину. Предполагается, что нам даны значения целевой переменной на некоторых обучающих объектах (обучающая выборка). Нужно научиться получать значения целевой переменной для новых объектов. Для этого будем подбирать функцию, которая бы хорошо приближала целевую переменную на обучающей выборке. Функцию будем подбирать из класса линейных. Будем подбирать её так, чтобы она минимизировала квадратичную функцию потерь. Для этого будем оптимизировать этот функционал методом стохастического градиентного спуска.

Математическое описание алгоритма

Пусть рассматриваемые объекты [math]\displaystyle{ x }[/math] принадлежат пространству [math]\displaystyle{ \mathbb{R}^n }[/math]. Предположим, что нам дана обучающая выборка [math]\displaystyle{ \{x_i, y_i\}_{i=1}^l, \; y_i = y(x_i) }[/math], где [math]\displaystyle{ y: \mathbb{R}^n \rightarrow \mathbb{R} }[/math] - неизвестная зависимость. Будем моделировать эту зависимость линейной функцией [math]\displaystyle{ f_{w}(x) = w_1 \cdot x_1 + \ldots w_n \cdot x_n + w_0 = \langle w, \, x \rangle + w_0 }[/math]