Alle fag › Maskinlæring og dataanalyse › Gradientnedstigning

Gradientnedstigning

Gradientnedstigning finner vektene som gir minst tap ved å gå små steg nedover. Gradienten peker oppover mot økende tap, så vi går motsatt vei. Læringsraten bestemmer hvor lange stegene er.

w←w−η ∂L∂ww \leftarrow w - \eta\,\frac{\partial L}{\partial w}ett steg
∂L∂w=−2n∑xi (yi−y^i)\frac{\partial L}{\partial w} = -\frac{2}{n}\sum x_i\,(y_i - \hat y_i)gradienten for MSE

Symboler

η\etalæringsrate
LLtapsfunksjon
∂L∂w\frac{\partial L}{\partial w}gradient

Eksempel

w=3w = 3, gradient 4 og η=0,1\eta = 0{,}1:

w←3−0,4=2,6w \leftarrow 3 - 0{,}4 = 2{,}6.

Glem ikke minustegnet. Vi skal nedover, mot lavere tap.
Øv på lineær regresjon og gradientnedstigning gratis →

← Lineær modell · Læringsrate →

Del av Maskinlæring og dataanalyse: Lineær regresjon og gradientnedstigning.