Low-Rank Adaptation (LoRA)
Eine Parameter Efficient Fine-Tuning (PEFT)-Methode, die nur eine kleine Anzahl neuer, trainierbarer Parameter hinzufügt, um große vor-trainierte Modelle effizient an spezifische Aufgaben anzupassen.
Kategorie: Training, Daten & Fine-Tuning
LoRA revolutioniert das Fine-Tuning großer Sprachmodelle (LLMs) und anderer Transformer-basierter Architekturen, indem es die Anzahl der zu trainierenden Parameter drastisch reduziert. Anstatt alle Gewichte eines Modells zu aktualisieren, friert LoRA die ursprünglichen Modellgewichte ein und injiziert kleine, trainierbare Low-Rank-Matrizen in die Transformer-Blöcke.
Synonyme / Tags
- LoRA
- PEFT-Methode
- Low-Rank-Anpassung
Die ganze Definition im Member Hub braucht ein kostenloses Konto.