Alle Leitfäden
Leitfaden für RAFT-Fine-Tuning
Ein praktischer Weg von einer funktionierenden RAG-Pipeline zu einem kleinen lokalen Modell, das mit RAFT feinjustiert ist: Daten, Filtern, Training, Auslieferung und eine ehrliche Evaluation.
Praktische Kapitel zu C++, TypeScript und RAFT-Fine-Tuning.
- 012 Min. Lesezeit
Mentales Modell: Was RAFT lehrt und was nicht
RAFT bringt einem Modell bei, abgerufenen Kontext zu verwenden. Es vermittelt keine neuen Fakten; dieser Unterschied entscheidet, ob sich der Aufwand lohnt.
- 022 Min. Lesezeit
Vor dem Training: Retrieval, Eval-Set und Holdout
Miss das Retrieval, erstelle ein Eval-Set mit Holdout und protokolliere die Ausgangswerte des unveränderten Modells, bevor du ein einziges Trainingsbeispiel erzeugst.
- 033 Min. Lesezeit
Trainingsdaten mit einem Teacher erzeugen
Destilliere Antworten eines stärkeren lokalen Teachers im exakten Inferenzformat, mit Oracle- und reinen Ablenkungskontexten sowie Hinweisen, die der Student nie sieht.
- 042 Min. Lesezeit
Filtern und das Datenblatt
Nutze Rejection Sampling für die Antworten des Teachers mit expliziten Prüfungen, zähle jeden Verwerfungsgrund und lies vor dem Training ein Datenblatt.
- 052 Min. Lesezeit
Zitate gehören in den Code
Lass das Modell Passagen-IDs und wörtliche Zitate angeben, prüfe die Zitate anschließend und erzeuge Zeitstempel und Links im Code.
- 062 Min. Lesezeit
Einen LoRA-Adapter trainieren
BF16-LoRA mit Unsloth und TRL, Loss nur auf der Antwort des Assistant, eine Tokenlängenprüfung vor dem Training und Checkpoints, die eine gemeinsam genutzte GPU überstehen.
- 072 Min. Lesezeit
Export und Serving
Führe den Adapter zusammen, quantisiere zu GGUF, registriere das Modell und ein identisch verpacktes Basismodell in Ollama und stelle die gesamte Pipeline hinter einem OpenAI-kompatiblen Endpunkt bereit.
- 083 Min. Lesezeit
Gegen das Basismodell evaluieren
Identisches Retrieval für jedes Modell, Kennzahlen, die Wissen von Stil trennen, ein gepaarter Vergleich und die Untersuchung jeder falschen Enthaltung.
- 093 Min. Lesezeit
Eine GPU für das größere Modell mieten
Was hochgeladen werden muss, wie du die Kosten abschätzt und welche betrieblichen Fallen bei unbeaufsichtigtem Cloud-Training lauern: langsame Mirrors, stille Watcher und an einen Host gebundene Volumes.
- 101 Min. Lesezeit
Checkliste
Eine einseitige Checkliste für einen RAFT-Lauf – von der Retrieval-Baseline bis zum ausgelieferten Modell.
- 112 Min. Lesezeit
Grounding und Referenzen
Das RAFT-Paper, die im Beispiellauf verwendeten Bibliotheken und die Herkunft der Zahlen in diesem Leitfaden.
Über diesen Leitfaden
Eine kompakte Anleitung für alle, die schon eine Retrieval-Pipeline haben und ein kleines lokales Modell wollen, das aus abgerufenen Passagen besser antwortet als ein Basismodell mit gutem Prompt.
RAFT (Retrieval-Augmented Fine-Tuning) trainiert ein Modell auf Fragen mit abgerufenen Passagen, einige relevant, andere nur Ablenkung. So lernt es, aus der richtigen Passage zu antworten, den Rest zu ignorieren und es offen zu sagen, wenn nichts passt. Das Training selbst ist ein gewöhnlicher LoRA-Lauf. Die Arbeit steckt in den Daten, den Prüfungen und der Evaluation, und darum geht es auf diesen Seiten.
Das durchgehende Beispiel ist ein echtes Projekt: rund 870 transkribierte Videos eines einzelnen Creators, ein lokaler Retrieval-Dienst und Qwen3.5-Modelle mit 4B und 9B, die darauf trainiert sind, in der Ich-Form des Creators zu antworten, mit einem geprüften Zitat für jeden Satz. Das 4B-Modell hat auf einer 16-GB-Consumer-GPU trainiert, das 9B-Modell auf einer gemieteten 48-GB-Karte. Was bei diesem Lauf schiefging, steht im Begleitartikel Mein erstes RAFT-Fine-Tuning auf einer geteilten 16-GB-GPU.
So nutzt du diese Anleitung
Lies die Seiten der Reihe nach. Jede beantwortet vier Fragen:
- Welches Problem löst dieser Schritt?
- Was ist die Standardwahl?
- Was geht still kaputt, wenn du ihn überspringst?
- Wie prüfst du, dass er funktioniert hat?
Was wirklich neu ist
Wer schon RAG-Systeme gebaut hat, kennt das meiste. Nur wenige Ideen sind RAFT-spezifisch:
- Das Modell lernt aus Kontexten mit Ablenkungspassagen und aus Kontexten, in denen die Antwort ganz fehlt.
- Trainingsbeispiele müssen genau das Prompt-Format der Inferenz verwenden, gebaut vom selben Retriever.
- Ein stärkeres Lehrermodell darf beim Generieren Hinweise sehen, die das Schülermodell nie sieht.
- Der Gewinn liegt vor allem darin, wie das Modell den Kontext nutzt und wie es klingt, nicht darin, was es weiß.
Empfohlener Weg
Phase 1: Grundlagen
Phase 2: Daten
Phase 3: Modell
Phase 4: Nachweis
- Gegen das Basismodell evaluieren
- Eine GPU für das größere Modell mieten
- Checkliste
- Grounding und Referenzen
Der schnellste praktische Plan
Eine konzentrierte Woche reicht für einen ersten Lauf, wenn dein Retrieval schon funktioniert.
- Tag 1: Eval-Set, Holdout und Ausgangswerte für das untrainierte Modell.
- Tag 2 und 3: Datengenerierung mit Filtern, dann das Datenblatt lesen und die Filter nachschärfen.
- Tag 4: ein kleines Modell trainieren und exportieren.
- Tag 5: gegen das Basismodell mit identischem Retrieval evaluieren und aufschreiben, was sich geändert hat.
Standard-Stack
Wenn du nicht weißt, wo du anfangen sollst, nimm diese Kombination:
Qwen3.5 4B + Unsloth BF16 LoRA + TRL SFTTrainer mit Loss nur auf der Antwort + GGUF Q4_K_M + Ollama, mit einem lokalen Lehrermodell für die Datengenerierung.
Sie passt auf eine 16-GB-GPU, trainiert in wenigen Stunden und lässt jedes Transkript auf deinem Rechner.
Grundlage
Das ist ein Praxisleitfaden aus einem vollständigen Lauf, kein Literaturüberblick. Die Zahlen stammen aus diesem Lauf und werden bei deinen Daten anders aussehen. Paper, Bibliotheksdokumentation und Versionshinweise stehen unter Grounding und Referenzen.