Gradienten-Normalisierungsverfahren
Gradienten-Normalisierungsverfahren sind Techniken wie Gradient Clipping oder Gradient Scaling, die angewendet werden, um das Problem von explodierenden oder verschwindenden Gradienten während des Trainings von Deep Neural Networks zu mildern.
Kategorie: Training, Daten & Fine-Tuning
Diese Probleme können das Training instabil machen oder ganz zum Erliegen bringen. Explodierende Gradienten führen zu großen Gewichtsanpassungen und instabilen Verlustfunktionen, während verschwindende Gradienten das Lernen in tieferen Schichten verhindern.
Synonyme / Tags
- Gradient Scaling
- Gradient Clipping
Die ganze Definition im Member Hub braucht ein kostenloses Konto.