Prompt Caching

Prompt Caching ist eine Optimierungstechnik, bei der die Ergebnisse von häufig verwendeten oder identischen Prompts gespeichert werden, um bei wiederholten Anfragen Rechenzeit und Kosten zu sparen. Statt das LLM erneut aufzurufen, wird die zuvor generierte Antwort direkt bereitgestellt.

Kategorie: Prompting & Steuerung

Beim Prompt Caching werden die Antworten von LLMs auf bestimmte Eingaben zwischengespeichert. Dies ist besonders vorteilhaft für: