Parameter Efficient Fine-Tuning (PEFT)
Eine Familie von Techniken, die es ermöglichen, große Sprachmodelle effizient anzupassen, indem nur ein kleiner Teil der Modellparameter während des Fine-Tunings trainiert wird.
Kategorie: Prompting & Steuerung
Parameter Efficient Fine-Tuning (PEFT) ist entscheidend für die praktische Anwendung und Anpassung von riesigen vortrainierten Sprachmodellen. Traditionelles Fine-Tuning erfordert das Training aller oder eines Großteils der Milliarden von Parametern eines Modells, was rechenintensiv und speicheraufwendig ist. PEFT-Methoden wie LoRA (Low-Rank Adaptation), Prefix-Tuning oder Prompt Tuning frieren die meisten ursprünglichen Modellparameter ein und führen nur wenige neue, aufgaben- oder domänenspezifische Parameter ein oder modifizieren bestehende in einer ressourcenschonenden Weise. Dies reduziert den Rechenaufwand, die Speichernutzung und die Größe der gespeicherten Modellgewichte erheblich, während die Leistung oft auf dem Niveau des vollständigen Fine-Tunings bleibt.
Synonyme / Tags
- PEFT
- Efficient Fine-Tuning
- Low-Rank Adaptation
Die ganze Definition im Member Hub braucht ein kostenloses Konto.