Alle fag › Maskinlæring og dataanalyse › Læringsrate

Læringsrate

Læringsraten er det viktigste valget i gradientnedstigning. Er den for stor, hopper vektene over minimumet og tapet kan eksplodere. Er den for liten, går læringen svært sakte. Ofte prøver man flere verdier og ser på tapskurven.

η∈[10−4, 10−1]\eta \in [10^{-4},\ 10^{-1}]vanlig område å prøve
Lt+1>LtL_{t+1} > L_ttegn på for stor læringsrate

Symboler

η\etalæringsrate
LtL_ttap etter steg t

Eksempel

Tapet går 5, 12, 40, 150 … : læringsraten er for stor.

Tapet går 5, 4,99, 4,98 … : den er antakelig for liten.

Plott tapet for hvert steg. Kurven forteller deg nesten alltid hva som er galt.
Øv på lineær regresjon og gradientnedstigning gratis →

← Gradientnedstigning · Forvekslingsmatrisen →

Del av Maskinlæring og dataanalyse: Lineær regresjon og gradientnedstigning.