Momentum (Optimierung)
Momentum ist eine Optimierungstechnik, die im Gradientenabstieg verwendet wird, um die Konvergenz zu beschleunigen und Oszillationen in flachen Bereichen der Verlustfunktion zu überwinden, indem sie einen 'Schwung' aus vergangenen Gradienten beibehält.
Kategorie: Training, Daten & Fine-Tuning
Beim reinen Gradientenabstieg können die Gewichtsaktualisierungen sehr zickzackförmig verlaufen, insbesondere in Bereichen mit steilen Gradienten in einer Dimension und flachen Gradienten in einer anderen. Momentum hilft, dieses Problem zu mildern.
Synonyme / Tags
- Momentum (ML)
- Schwung (Optimierung)
Die ganze Definition im Member Hub braucht ein kostenloses Konto.