Adaptive Lernraten-Optimierer (z.B. Adam)
Eine Klasse von Optimierungsalgorithmen, die die Lernrate für jeden Parameter des Modells während des Trainings dynamisch anpassen, basierend auf den historischen Gradienteninformationen.
Kategorie: Training, Daten & Fine-Tuning
Adaptive Lernraten-Optimierer haben sich als Standard in vielen Deep-Learning-Anwendungen etabliert, da sie die Konvergenz beschleunigen und die manuelle Abstimmung der Lernrate vereinfachen. Sie passen die Schrittgröße für jeden Parameter individuell an, was besonders nützlich ist, wenn die Merkmale unterschiedliche Skalen oder Sparsitäten aufweisen.
Synonyme / Tags
- Adaptive Optimierer
- Adam-Optimierer
- RMSprop
Die ganze Definition im Member Hub braucht ein kostenloses Konto.