Steering Vectors
Eine Methode zur direkten Beeinflussung des Verhaltens eines Sprachmodells, indem man Vektoren zu internen Repräsentationen (Embeddings) hinzufügt, um bestimmte Konzepte oder Attribute zu verstärken oder abzuschwächen.
Kategorie: Prompting & Steuerung
Steering Vectors (Steuerungsvektoren) bieten eine präzise und oft interpretierbare Möglichkeit, die interne Arbeitsweise von Sprachmodellen zu manipulieren. Anstatt nur den Input (Prompt) zu ändern, greifen Steering Vectors direkt in die latenten Repräsentationen des Modells ein. Ein Steering Vector wird typischerweise gelernt oder konstruiert, um ein bestimmtes Konzept (z.B. 'Freundlichkeit', 'Formalität', 'Kreativität') darzustellen. Durch das Hinzufügen (oder Subtrahieren) dieses Vektors zu den Aktivierungen des Modells während der Generierung kann dessen Verhalten in Echtzeit in eine gewünschte Richtung gelenkt werden, ohne dass ein erneutes Training des gesamten Modells erforderlich ist. Dies ermöglicht eine feinkörnige Kontrolle über die generierte Ausgabe.
Synonyme / Tags
- Steering Prompts
- Concept Vectors
Die ganze Definition im Member Hub braucht ein kostenloses Konto.