Lernraten-Warmup
Eine Technik im Training neuronaler Netze, bei der die Lernrate zu Beginn des Trainings schrittweise von einem kleinen Wert auf den vollen Sollwert erhöht wird, um die Stabilität des Lernprozesses zu verbessern.
Kategorie: Training, Daten & Fine-Tuning
Lernraten-Warmup ist eine gängige Strategie, die in der Anfangsphase des Trainings von tiefen neuronalen Netzen, insbesondere bei großen Modellen wie Transformatoren, angewendet wird. Anstatt die Lernrate sofort auf ihren vollen Wert zu setzen, beginnt man mit einer sehr kleinen Lernrate und erhöht diese über eine bestimmte Anzahl von Schritten oder Epochen hinweg allmählich auf den Zielwert.
Synonyme / Tags
- Learning Rate Warm-up
- Aufwärmphase (Lernrate)
Die ganze Definition im Member Hub braucht ein kostenloses Konto.