Prompt-Tuning
Prompt-Tuning ist eine effiziente Fine-Tuning-Methode für große Sprachmodelle (LLMs), bei der nur wenige, aufgabenspezifische 'Soft Prompts' trainiert werden, während die Gewichte des Basis-LLM eingefroren bleiben.
Kategorie: Training, Daten & Fine-Tuning
Im Gegensatz zum vollständigen Fine-Tuning, bei dem alle oder ein Großteil der Modellparameter angepasst werden, konzentriert sich Prompt-Tuning auf die Optimierung eines kleinen Satzes von kontinuierlichen Vektoren (Soft Prompts), die dem Eingabetext vorangestellt werden. Diese Soft Prompts werden während des Trainings gelernt und dienen dazu, das vortrainierte LLM auf eine spezifische Downstream-Aufgabe zu lenken, ohne die enorme Anzahl von Parametern des eigentlichen Sprachmodells zu verändern.
Synonyme / Tags
- Soft Prompting
- Prompt-Optimierung (LLM)
- Parameter-Efficient Prompting
Die ganze Definition im Member Hub braucht ein kostenloses Konto.