Prompt-Pre-Training

Prompt-Pre-Training bezeichnet den anfänglichen Trainingsschritt eines Sprachmodells, bei dem es auf einem großen Korpus ungelabelter Texte lernt, Sprachmuster zu verstehen und zu generieren, bevor es für spezifische Aufgaben feinabgestimmt wird.

Kategorie: Training, Daten & Fine-Tuning

Prompt-Pre-Training ist die Grundlage für die Leistungsfähigkeit großer Sprachmodelle (LLMs). Während dieses Schrittes lernt das Modell: