Transformer-Modell
Eine moderne Deep-Learning-Architektur, die primär für sequentielle Daten, insbesondere in der natürlichen Sprachverarbeitung, eingesetzt wird und auf dem Aufmerksamkeitsmechanismus (Attention Mechanism) basiert.
Kategorie: Modelle & Architekturen
Das Transformer-Modell ist eine innovative neuronale Netzwerkarchitektur, die 2017 von Google eingeführt wurde und die Grundlage für viele der leistungsfähigsten Modelle in der natürlichen Sprachverarbeitung (NLP) wie BERT, GPT und T5 bildet. Im Gegensatz zu früheren sequentiellen Modellen (wie RNNs oder LSTMs) verarbeitet der Transformer Eingabesequenzen parallel und verwendet einen "Self-Attention"-Mechanismus, um die Bedeutung verschiedener Teile der Eingabe in Bezug zueinander zu gewichten. Dies ermöglicht es ihm, langfristige Abhängigkeiten effizienter zu erfassen und ist hochgradig parallelisierbar.
Synonyme / Tags
- Transformer Architecture
- Attention-based Model
Die ganze Definition im Member Hub braucht ein kostenloses Konto.