06 — Einen LoRA-Adapter trainieren

BF16-LoRA mit Unsloth und TRL, Loss nur auf der Antwort des Assistant, eine Tokenlängenprüfung vor dem Training und Checkpoints, die eine gemeinsam genutzte GPU überstehen.

Christian Pojoni 2 Min. Lesezeit
Teilen

Kerngedanke

Der Trainingslauf ist der standardisierteste Teil von RAFT. Verwende bewährte Voreinstellungen, prüfe die Eingaben vor dem Verbrauch von GPU-Stunden und gestalte den Lauf fortsetzbar.

Vor dem Training prüfen

Führe zunächst eine reine CPU-Prüfung der Trainingsdateien durch:

  • Tokenlänge jedes Beispiels unter dem Chat-Template, einschließlich Median und Anzahl über max_seq_length
  • dass die Loss-Maske nur die Antwort des Assistant abdeckt

RAFT-Prompts sind lang, weil sie Passagen enthalten. Im Beispiel wurde max_seq_length = 6144 verwendet. Längere Beispiele wurden verworfen, nicht abgeschnitten, denn ein gekürzter Kontext kann genau die Passage entfernen, auf die sich die Antwort bezieht.

Standardkonfiguration

Mit diesen Einstellungen wurden beide Beispielmodelle ohne weitere Abstimmung trainiert:

model, tok = FastLanguageModel.from_pretrained(
    "Qwen/Qwen3.5-4B", max_seq_length=6144, dtype=torch.bfloat16, load_in_4bit=False)
model = FastLanguageModel.get_peft_model(
    model, r=16, lora_alpha=16, lora_dropout=0, target_modules=TARGET_MODULES,
    use_gradient_checkpointing="unsloth", random_state=3407)
args = SFTConfig(
    per_device_train_batch_size=1, gradient_accumulation_steps=16,
    num_train_epochs=2, learning_rate=2e-4, lr_scheduler_type="linear",
    warmup_steps=0.03, weight_decay=0.001, optim="adamw_8bit",
    max_length=6144, packing=False, eval_steps=50, save_steps=50)
trainer = train_on_responses_only(trainer, instruction_part=INSTRUCTION_PART,
                                  response_part=RESPONSE_PART)

train_on_responses_only ist entscheidend. Ohne diese Einstellung wird der größte Teil des Loss für die Vorhersage der Passagen aufgewendet, was dem Modell nichts über das Antworten beibringt.

Ressourcenwerte

ModellGPUSpitzen-VRAMSchritteZeitFinaler Eval-Loss
Qwen3.5-4BRTX 5070 Ti 16 GB10,8 GB3582 h 49 min0,190
Qwen3.5-9BRTX 6000 Ada 48 GB25,1 GB3583 h 35 min0,139

BF16-LoRA statt 4-Bit-QLoRA war eine bewusste Entscheidung. Das 4B-Modell passt in BF16 auf 16 GB und vermeidet Quantisierungsrauschen beim Vergleich mit dem Basismodell.

Gemeinsam genutzte GPUs

Wenn andere Jobs dieselbe Karte verwenden, setze PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True, speichere alle 50 Schritte einen Checkpoint und sorge dafür, dass train beim erneuten Start mit demselben Ausgabeverzeichnis vom letzten Checkpoint fortsetzt. Ein Out-of-Memory-Absturz kostet dann Minuten statt Stunden. Verweigere den Start unterhalb einer Schwelle für freien Speicher, statt mitten in einer Epoche abzustürzen.

Eval-Loss lesen

Der Eval-Loss zeigt, dass das Modell das Format lernt und nicht overfittet. Er zeigt nicht, ob die Antworten besser geworden sind. Zwei Epochen ergaben im Beispiel einen stetig sinkenden Eval-Loss (0,154, 0,146, 0,143 und 0,142 bei den Schritten 50 bis 200 auf 9B). Die Entscheidung, das Modell zu behalten, fiel ausschließlich aufgrund der Aufgaben-Evaluation.

Häufige Fehler

  • Den Loss auf dem gesamten Prompt berechnen.
  • Lange RAFT-Prompts abschneiden, statt sie zu verwerfen.
  • Einen niedrigeren Eval-Loss als Beweis für ein besseres Modell deuten.

Fragen zu den Artikeln?

Frag nach einem Artikel, einem Projekt oder den Ideen dahinter.