Preference Tuning
Ein Fine-Tuning-Verfahren, das ein Sprachmodell anhand von menschlichen Präferenzdaten anpasst, um Ausgaben zu generieren, die den Vorlieben der Benutzer entsprechen.
Kategorie: Prompting & Steuerung
Preference Tuning (Präferenz-Tuning) ist eng verwandt mit RLHF und konzentriert sich darauf, die Modellgenerierungen so zu optimieren, dass sie menschliche Präferenzen widerspiegeln. Anstatt nur auf 'richtig' oder 'falsch' zu trainieren, wird das Modell darauf trainiert, Ausgaben zu bevorzugen, die von Menschen als qualitativ hochwertiger, hilfreicher, stilistisch ansprechender oder in anderer Weise wünschenswerter eingestuft werden. Dies geschieht typischerweise durch das Sammeln von Daten, bei denen Menschen eine Rangfolge oder Bewertung von mehreren Modellantworten abgeben. Diese Präferenzdaten werden dann verwendet, um ein Belohnungsmodell zu trainieren, das wiederum das generative Modell durch Techniken wie Reinforcement Learning oder Direct Preference Optimization (DPO) anleitet. Das Ergebnis ist ein Modell, das nicht nur faktisch korrekt ist, sondern auch in Ton, Stil und Inhalt besser auf die Erwartungen der Benutzer abgestimmt ist.
Synonyme / Tags
- Alignment Tuning
- Preference Learning
Die ganze Definition im Member Hub braucht ein kostenloses Konto.