Gradienten-Clipping
Eine Technik zur Stabilisierung des Trainings von neuronalen Netzen, indem die Norm der Gradienten auf einen bestimmten Schwellenwert begrenzt wird, um das Exploding Gradient Problem zu mildern.
Kategorie: Training, Daten & Fine-Tuning
Gradienten-Clipping ist eine wichtige Regularisierungstechnik, die im Training von neuronalen Netzen, insbesondere bei Deep Learning-Modellen wie rekurrenten neuronalen Netzen (RNNs) oder Transformatoren, eingesetzt wird. Es adressiert das Problem der 'explodierenden Gradienten', bei dem die Gradienten während des Backpropagation-Prozesses extrem groß werden können.
Synonyme / Tags
- Gradienten-Begrenzung
- Gradient Clipping
Die ganze Definition im Member Hub braucht ein kostenloses Konto.