Batch-Normalisierung
Batch-Normalisierung ist eine Technik, die die Eingaben jeder Schicht in einem neuronalen Netz während des Trainings normalisiert, um die Stabilität und Geschwindigkeit des Lernprozesses zu verbessern.
Kategorie: Training, Daten & Fine-Tuning
Das Phänomen des 'Internal Covariate Shift', bei dem sich die Verteilung der Eingaben für eine Schicht aufgrund der Parameteraktualisierungen in den vorhergehenden Schichten ändert, kann das Training tiefer neuronaler Netze erschweren. Batch-Normalisierung (BN) begegnet diesem Problem, indem sie die Eingaben für jede Schicht auf einen Mittelwert von 0 und eine Standardabweichung von 1 skaliert. Dies ermöglicht höhere Lernraten, reduziert die Abhängigkeit von der Initialisierung und wirkt als eine Form der Regularisierung.
Synonyme / Tags
- Batch Normalization
- BN
Die ganze Definition im Member Hub braucht ein kostenloses Konto.