Gradient Vanishing/Exploding
Gradient Vanishing (verschwindender Gradient) und Gradient Exploding (explodierender Gradient) sind Probleme, die beim Training tiefer neuronaler Netze auftreten, wenn Gradienten während der Backpropagation extrem klein oder groß werden.
Kategorie: Training, Daten & Fine-Tuning
Das Gradient Vanishing-Problem tritt auf, wenn die Gradienten während der Backpropagation immer kleiner werden, je weiter sie sich von der Ausgabeschicht entfernen. Dies führt dazu, dass die Aktualisierungen der Gewichte in den frühen Schichten des Netzwerks sehr gering sind und das Lernen praktisch zum Stillstand kommt. Das Gradient Exploding-Problem ist das Gegenteil: Die Gradienten werden extrem groß, was zu sehr großen Gewichtsaktualisierungen führt, die das Trainingsverfahren instabil machen und das Netz auseinanderdriften lassen.
Synonyme / Tags
- Verschwindender/Explodierender Gradient
- Gradientenprobleme
Die ganze Definition im Member Hub braucht ein kostenloses Konto.