Batch-Normalisierungs-Alternativen
Batch-Normalisierungs-Alternativen sind andere Normalisierungstechniken wie Layer Normalization oder Instance Normalization, die anstelle oder zusätzlich zur Batch-Normalisierung verwendet werden, um das Training von Deep Neural Networks zu stabilisieren.
Kategorie: Training, Daten & Fine-Tuning
Während die Batch-Normalisierung die Aktivierungen über die Batch-Dimension normalisiert, gibt es Situationen, in denen sie weniger geeignet ist (z.B. bei sehr kleinen Batch-Größen oder in rekurrenten Netzen). Alternativen bieten hier Lösungen:
Synonyme / Tags
- Layer Normalization
- Instance Normalization
Die ganze Definition im Member Hub braucht ein kostenloses Konto.