Modell-Quantisierung
Modell-Quantisierung reduziert die Präzision der numerischen Darstellungen (z.B. von 32-Bit-Gleitkommazahlen auf 8-Bit-Ganzzahlen) von Gewichten und Aktivierungen in einem KI-Modell, um dessen Größe und Inferenzzeit zu verringern.
Kategorie: Training, Daten & Fine-Tuning
Tiefe neuronale Netze verwenden typischerweise 32-Bit-Gleitkommazahlen (FP32) für ihre Berechnungen. Modell-Quantisierung wandelt diese in niedrigere Präzisionsformate um, z.B. 16-Bit-Gleitkommazahlen (FP16) oder 8-Bit-Ganzzahlen (INT8). Dies führt zu kleineren Modellgrößen und schnelleren Berechnungen, da weniger Speicherbandbreite und Rechenzyklen benötigt werden.
Synonyme / Tags
- Model Quantization
- Quantisierung (KI)
- Parameter-Quantisierung
Die ganze Definition im Member Hub braucht ein kostenloses Konto.