11 — Grounding und Referenzen

Das RAFT-Paper, die im Beispiellauf verwendeten Bibliotheken und die Herkunft der Zahlen in diesem Leitfaden.

Christian Pojoni 2 Min. Lesezeit
Teilen

Dieser Leitfaden beschreibt einen vollständigen Lauf. Die Methode folgt dem RAFT-Paper, und die Zahlen stammen aus den Berichten dieses Laufs. Mit deinen Daten werden sie anders ausfallen.

Methode

Bibliotheken und Werkzeuge

  • Unsloth: Laden des Modells, LoRA, train_on_responses_only und der 16-Bit-Merge.
  • TRL SFTTrainer: die Schleife für überwachtes Fine-Tuning.
  • PEFT: die zugrunde liegende Adapterimplementierung.
  • llama.cpp: GGUF-Konvertierung und Quantisierung.
  • Ollama: lokales Serving und das Modelfile-Format.
  • Qwen3.5-9B auf Hugging Face: das Basismodell des größeren Laufs.
  • Open WebUI: die Chat-Oberfläche vor dem Serving-Wrapper.
  • RunPod: die gemietete GPU für den 9B-Lauf.

Wie die Zahlen entstanden sind

  • Korpus: etwa 870 Videos eines Creators, lokal mit Whisper transkribiert. Für das Training wurden nur Solo-Videos verwendet.
  • Eval-Set: 129 überprüfte Fragen (103 beantwortbare, 26 unbeantwortbare). Jedes Dokument, auf das ein Eval-Beleg verwies, wurde vom Training ausgeschlossen.
  • Retrieval: ein lokaler Dienst, k = 8 Passagen für Antworten, hit@10 = 0.738 auf dem Eval-Set.
  • Teacher und Judge: qwen3.5:9b, lokal ausgeführt. Dass der Judge zugleich Teacher ist, stellt eine bekannte Verzerrung dar.
  • Trainingsdaten: 7.988 Versuche, 3.012 behalten, nach Exportfiltern 2.858 Trainings- und 144 Validierungsbeispiele.
  • Modelle: Qwen3.5-4B (RTX 5070 Ti, 16 GB) und Qwen3.5-9B (RTX 6000 Ada, 48 GB), BF16-LoRA mit Rang 16, 2 Epochen, als GGUF Q4_K_M über Ollama bereitgestellt.

Begleitartikel

Die betriebliche Geschichte des Laufs einschließlich der Fehler steht in Mein erstes RAFT-Fine-Tuning auf einer geteilten 16-GB-GPU: 7 Stolperfallen, die im Paper fehlen.

Fragen zu den Artikeln?

Frag nach einem Artikel, einem Projekt oder den Ideen dahinter.