Alle Leitfäden

Leitfaden für RAFT-Fine-Tuning

Ein praktischer Weg von einer funktionierenden RAG-Pipeline zu einem kleinen lokalen Modell, das mit RAFT feinjustiert ist: Daten, Filtern, Training, Auslieferung und eine ehrliche Evaluation.

Praktische Kapitel zu C++, TypeScript und RAFT-Fine-Tuning.

  1. 01

    Mentales Modell: Was RAFT lehrt und was nicht

    RAFT bringt einem Modell bei, abgerufenen Kontext zu verwenden. Es vermittelt keine neuen Fakten; dieser Unterschied entscheidet, ob sich der Aufwand lohnt.

    2 Min. Lesezeit
  2. 02

    Vor dem Training: Retrieval, Eval-Set und Holdout

    Miss das Retrieval, erstelle ein Eval-Set mit Holdout und protokolliere die Ausgangswerte des unveränderten Modells, bevor du ein einziges Trainingsbeispiel erzeugst.

    2 Min. Lesezeit
  3. 03

    Trainingsdaten mit einem Teacher erzeugen

    Destilliere Antworten eines stärkeren lokalen Teachers im exakten Inferenzformat, mit Oracle- und reinen Ablenkungskontexten sowie Hinweisen, die der Student nie sieht.

    3 Min. Lesezeit
  4. 04

    Filtern und das Datenblatt

    Nutze Rejection Sampling für die Antworten des Teachers mit expliziten Prüfungen, zähle jeden Verwerfungsgrund und lies vor dem Training ein Datenblatt.

    2 Min. Lesezeit
  5. 05

    Zitate gehören in den Code

    Lass das Modell Passagen-IDs und wörtliche Zitate angeben, prüfe die Zitate anschließend und erzeuge Zeitstempel und Links im Code.

    2 Min. Lesezeit
  6. 06

    Einen LoRA-Adapter trainieren

    BF16-LoRA mit Unsloth und TRL, Loss nur auf der Antwort des Assistant, eine Tokenlängenprüfung vor dem Training und Checkpoints, die eine gemeinsam genutzte GPU überstehen.

    2 Min. Lesezeit
  7. 07

    Export und Serving

    Führe den Adapter zusammen, quantisiere zu GGUF, registriere das Modell und ein identisch verpacktes Basismodell in Ollama und stelle die gesamte Pipeline hinter einem OpenAI-kompatiblen Endpunkt bereit.

    2 Min. Lesezeit
  8. 08

    Gegen das Basismodell evaluieren

    Identisches Retrieval für jedes Modell, Kennzahlen, die Wissen von Stil trennen, ein gepaarter Vergleich und die Untersuchung jeder falschen Enthaltung.

    3 Min. Lesezeit
  9. 09

    Eine GPU für das größere Modell mieten

    Was hochgeladen werden muss, wie du die Kosten abschätzt und welche betrieblichen Fallen bei unbeaufsichtigtem Cloud-Training lauern: langsame Mirrors, stille Watcher und an einen Host gebundene Volumes.

    3 Min. Lesezeit
  10. 10

    Checkliste

    Eine einseitige Checkliste für einen RAFT-Lauf – von der Retrieval-Baseline bis zum ausgelieferten Modell.

    1 Min. Lesezeit
  11. 11

    Grounding und Referenzen

    Das RAFT-Paper, die im Beispiellauf verwendeten Bibliotheken und die Herkunft der Zahlen in diesem Leitfaden.

    2 Min. Lesezeit
Über diesen Leitfaden

Eine kompakte Anleitung für alle, die schon eine Retrieval-Pipeline haben und ein kleines lokales Modell wollen, das aus abgerufenen Passagen besser antwortet als ein Basismodell mit gutem Prompt.

RAFT (Retrieval-Augmented Fine-Tuning) trainiert ein Modell auf Fragen mit abgerufenen Passagen, einige relevant, andere nur Ablenkung. So lernt es, aus der richtigen Passage zu antworten, den Rest zu ignorieren und es offen zu sagen, wenn nichts passt. Das Training selbst ist ein gewöhnlicher LoRA-Lauf. Die Arbeit steckt in den Daten, den Prüfungen und der Evaluation, und darum geht es auf diesen Seiten.

Das durchgehende Beispiel ist ein echtes Projekt: rund 870 transkribierte Videos eines einzelnen Creators, ein lokaler Retrieval-Dienst und Qwen3.5-Modelle mit 4B und 9B, die darauf trainiert sind, in der Ich-Form des Creators zu antworten, mit einem geprüften Zitat für jeden Satz. Das 4B-Modell hat auf einer 16-GB-Consumer-GPU trainiert, das 9B-Modell auf einer gemieteten 48-GB-Karte. Was bei diesem Lauf schiefging, steht im Begleitartikel Mein erstes RAFT-Fine-Tuning auf einer geteilten 16-GB-GPU.

So nutzt du diese Anleitung

Lies die Seiten der Reihe nach. Jede beantwortet vier Fragen:

  1. Welches Problem löst dieser Schritt?
  2. Was ist die Standardwahl?
  3. Was geht still kaputt, wenn du ihn überspringst?
  4. Wie prüfst du, dass er funktioniert hat?

Was wirklich neu ist

Wer schon RAG-Systeme gebaut hat, kennt das meiste. Nur wenige Ideen sind RAFT-spezifisch:

  • Das Modell lernt aus Kontexten mit Ablenkungspassagen und aus Kontexten, in denen die Antwort ganz fehlt.
  • Trainingsbeispiele müssen genau das Prompt-Format der Inferenz verwenden, gebaut vom selben Retriever.
  • Ein stärkeres Lehrermodell darf beim Generieren Hinweise sehen, die das Schülermodell nie sieht.
  • Der Gewinn liegt vor allem darin, wie das Modell den Kontext nutzt und wie es klingt, nicht darin, was es weiß.

Empfohlener Weg

Phase 1: Grundlagen

  1. Mentales Modell: Was RAFT lehrt und was nicht
  2. Vor dem Training: Retrieval, Eval-Set und Holdout

Phase 2: Daten

  1. Trainingsdaten mit einem Teacher erzeugen
  2. Filtern und das Datenblatt
  3. Zitate gehören in den Code

Phase 3: Modell

  1. Einen LoRA-Adapter trainieren
  2. Export und Serving

Phase 4: Nachweis

  1. Gegen das Basismodell evaluieren
  2. Eine GPU für das größere Modell mieten
  3. Checkliste
  4. Grounding und Referenzen

Der schnellste praktische Plan

Eine konzentrierte Woche reicht für einen ersten Lauf, wenn dein Retrieval schon funktioniert.

  • Tag 1: Eval-Set, Holdout und Ausgangswerte für das untrainierte Modell.
  • Tag 2 und 3: Datengenerierung mit Filtern, dann das Datenblatt lesen und die Filter nachschärfen.
  • Tag 4: ein kleines Modell trainieren und exportieren.
  • Tag 5: gegen das Basismodell mit identischem Retrieval evaluieren und aufschreiben, was sich geändert hat.

Standard-Stack

Wenn du nicht weißt, wo du anfangen sollst, nimm diese Kombination:

Qwen3.5 4B + Unsloth BF16 LoRA + TRL SFTTrainer mit Loss nur auf der Antwort + GGUF Q4_K_M + Ollama, mit einem lokalen Lehrermodell für die Datengenerierung.

Sie passt auf eine 16-GB-GPU, trainiert in wenigen Stunden und lässt jedes Transkript auf deinem Rechner.

Grundlage

Das ist ein Praxisleitfaden aus einem vollständigen Lauf, kein Literaturüberblick. Die Zahlen stammen aus diesem Lauf und werden bei deinen Daten anders aussehen. Paper, Bibliotheksdokumentation und Versionshinweise stehen unter Grounding und Referenzen.

Fragen zu den Artikeln?

Frag nach einem Artikel, einem Projekt oder den Ideen dahinter.