Lernraten-Wiederanlauf (Learning Rate Restart)
Lernraten-Wiederanlauf ist eine Technik bei Lernraten-Schedulern, bei der die Lernrate nach einer bestimmten Anzahl von Epochen periodisch auf einen hohen Wert zurückgesetzt wird, um das Modell aus lokalen Minima zu befreien.
Kategorie: Training, Daten & Fine-Tuning
Diese Methode ist eine Erweiterung von Lernraten-Schedulern, die die Lernrate im Laufe des Trainings reduzieren. Anstatt die Lernrate kontinuierlich zu senken, wird sie nach Erreichen eines Minimums wieder auf einen höheren Wert zurückgesetzt. Dies ermöglicht es dem Optimierer, neue Bereiche der Verlustlandschaft zu erkunden.
Synonyme / Tags
- SGDR
- Cosine Annealing with Restarts
Die ganze Definition im Member Hub braucht ein kostenloses Konto.