Token (LLM)
Ein Token ist die grundlegende Einheit, in die ein Sprachmodell Text zerlegt, um ihn zu verarbeiten. Ein Token kann ein Wort, ein Teil eines Wortes, ein Satzzeichen oder ein Leerzeichen sein und dient als Eingabe für das Modell.
Kategorie: Prompting & Steuerung
Die Verarbeitung von Text durch Large Language Models (LLMs) basiert auf Tokens. Wichtige Aspekte sind:
Synonyme / Tags
- Textbaustein
- Spracheinheit
Die ganze Definition im Member Hub braucht ein kostenloses Konto.