Aufmerksamkeitsmechanismus
Der Aufmerksamkeitsmechanismus ermöglicht es einem neuronalen Netzwerk, sich auf die relevantesten Teile der Eingabedaten zu konzentrieren, wenn es eine Ausgabe generiert.
Kategorie: Training, Daten & Fine-Tuning
Der Aufmerksamkeitsmechanismus, insbesondere die Self-Attention, hat die Entwicklung von modernen Deep-Learning-Modellen, insbesondere im Bereich der Transformer-Architekturen, revolutioniert. Er löst das Problem, dass traditionelle rekurrente Netzwerke Schwierigkeiten hatten, lange Abhängigkeiten in Sequenzen zu modellieren.
Synonyme / Tags
- Attention
- Self-Attention
Die ganze Definition im Member Hub braucht ein kostenloses Konto.