Tokenisierung

Tokenisierung ist der Prozess, bei dem Text in kleinere Einheiten, sogenannte Tokens, zerlegt wird, die von KI-Modellen verarbeitet werden können.

Kategorie: Training, Daten & Fine-Tuning

Die Tokenisierung ist ein fundamentaler Schritt in der Vorverarbeitung von Textdaten für Natural Language Processing (NLP)-Modelle. Dabei wird ein kontinuierlicher Textstrom in diskrete Einheiten (Tokens) unterteilt, die Wörter, Satzzeichen, Teilwörter oder sogar einzelne Zeichen sein können.