Triton Inference Server

Ein Open-Source-Inferenz-Server von NVIDIA, der für Hochleistungs-KI-Modell-Serving optimiert ist und mehrere Frameworks und Hardware-Backends unterstützt.

Kategorie: Tools, Plattformen & Ökosysteme

Triton ermöglicht es Unternehmen, KI-Modelle effizient in Produktion zu nehmen, indem es Funktionen wie Batching, Concurrent Model Execution und Dynamic Batching bietet. Es ist darauf ausgelegt, die Auslastung von GPUs zu maximieren und niedrige Latenzzeiten zu gewährleisten.