Modell-Distillation
Modell-Distillation ist eine Technik, bei der ein kleineres, effizienteres 'Studenten'-Modell von einem größeren, komplexeren 'Lehrer'-Modell lernt, um dessen Leistung bei geringerer Rechenlast zu replizieren.
Kategorie: Training, Daten & Fine-Tuning
Diese Technik wird oft eingesetzt, um große, rechenintensive Modelle (z.B. große Sprachmodelle oder komplexe neuronale Netze) zu komprimieren, sodass sie auf Geräten mit begrenzten Ressourcen (z.B. Mobiltelefonen, Edge-Geräten) oder in Echtzeitanwendungen eingesetzt werden können. Der Schlüssel liegt darin, dass der Student nicht nur die harten Labels der Trainingsdaten lernt, sondern auch die 'Soft Targets' (Wahrscheinlichkeitsverteilungen der Klassen) des Lehrermodells.
Synonyme / Tags
- Knowledge Distillation
- Modellkompression
- Destillation
Die ganze Definition im Member Hub braucht ein kostenloses Konto.