Knowledge Distillation
Knowledge Distillation ist eine Methode, bei der das Wissen eines großen, komplexen 'Lehrer'-Modells auf ein kleineres, effizienteres 'Schüler'-Modell übertragen wird, um Rechenressourcen zu sparen.
Kategorie: Training, Daten & Fine-Tuning
Das 'Lehrer'-Modell, oft ein Ensemble von Modellen oder ein sehr tiefes neuronales Netz, ist typischerweise sehr genau, aber rechenintensiv. Das 'Schüler'-Modell ist kleiner und schneller. Bei der Knowledge Distillation lernt das Schülermodell nicht nur von den harten Labels (den korrekten Antworten), sondern auch von den 'weichen' Targets des Lehrermodells (den Wahrscheinlichkeitsverteilungen über alle Klassen). Diese weichen Targets enthalten zusätzliche Informationen über die Ähnlichkeiten zwischen den Klassen.
Synonyme / Tags
- Wissensdestillation
- Modellkomprimierung
Die ganze Definition im Member Hub braucht ein kostenloses Konto.