Reinforcement Learning from Human Feedback (RLHF)
Ein Ansatz, bei dem ein Sprachmodell durch menschliches Feedback trainiert wird, um seine Ausgaben besser an menschliche Präferenzen, Werte und Anweisungen anzupassen.
Kategorie: Prompting & Steuerung
Reinforcement Learning from Human Feedback (RLHF) ist ein zentraler Mechanismus zur Ausrichtung großer Sprachmodelle (LLMs) auf menschliche Absichten. Der Prozess beginnt oft mit einem vortrainierten LLM, dessen Ausgaben dann von menschlichen Bewertern nach Qualität, Relevanz, Sicherheit und anderen Kriterien beurteilt werden. Dieses menschliche Feedback wird verwendet, um ein separates 'Reward-Modell' zu trainieren, das die Präferenzen der Menschen lernt. Anschließend wird das ursprüngliche LLM mittels Reinforcement Learning optimiert, wobei das Reward-Modell als Feedback-Mechanismus dient, um Ausgaben zu generieren, die voraussichtlich hohe menschliche Bewertungen erhalten würden. RLHF ist entscheidend für die Entwicklung von Modellen, die nützlich, harmlos und ehrlich sind.
Synonyme / Tags
- RLHF
- Human Feedback Tuning
- Alignment Training
Die ganze Definition im Member Hub braucht ein kostenloses Konto.